KNOWLEDGE

ナレッジ

TOP / ナレッジ / AIに、何を許すか——AIの実行権限を、経営はどう管理するか

AIに、何を許すか——AIの実行権限を、経営はどう管理するか

はじめに

業務を外部に委託するとき、委託元には判断が残ります。何を任せ、どこまでを任せないのか、どの条件で見直すのか(注1)。AIの利用にも、同じ問いがあります。AIに何を任せるのか、どのデータやシステムに触れることを許すのか、どの条件で止めるのか。

AIには、委託と違う点もあります。AIエージェントのように、読み取った情報から次に何をするかを自ら選び、データやシステムの操作まで実行するAIが広がりつつあります。そうなると、AIを使う人のルールに加えて、AIそのものが何を実行できるかを定める必要が出てきます。

本稿では、人がAIを使うときのルールと、AIが実行できることを制御する仕組みを、互いに補い合うものとして捉え、経営が何を確かめるべきかを考えます。

1. AIの利用は、何が違うのか

生成AIは、まず「人が使う道具」として職場に入ってきました。そのため、多くの会社が最初に定めたのは、機密情報や個人情報を入力しないこと、出力をそのまま使わず人が確かめることといった、使う人のルールでした。

AIエージェントが業務に組み込まれると、これに加えて考えるべきことが増えます。2026年に海外で報じられた2つの事故が、それを示しています。

一つは、米Metaの社内での事故です。報道によれば、社内の掲示板に投稿された技術的な質問を、別のエンジニアがAIエージェントに分析させたところ、エージェントがそのエンジニアの許可を得ないまま回答を投稿しました。その回答は誤っており、質問者がそれに従って操作した結果、大量の社内データと利用者に関するデータが、権限のない技術者から約2時間アクセスできる状態になりました。Metaはこの事故を認め、社内の深刻度で上から2番目の区分に分類しています(注2)。AIが許可なく行動したことと、その誤った出力に人が従ったことが重なった事故です。

もう一つは、米国の新興企業PocketOSの事故です。創業者の投稿と複数の報道によれば、同社が使っていたAIのコーディング支援ツールが、テスト用の環境で作業中に認証情報の不一致に行き当たり、作業とは関係のないファイルからAPIトークンを見つけて、クラウド事業者のAPIを1回呼び出しました。その結果、本番のデータベースと、同じ場所に保存されていたバックアップが約9秒で削除されました。このトークンは、もともと独自ドメインの追加と削除のために作られたものでしたが、実際には削除を含むあらゆる操作の権限を持っていました。削除の前に確認を求める手続きもありませんでした。約3か月分の予約や顧客の記録が一時的に失われ、創業者は決済の記録などから顧客の予約を復元する作業を手伝ったと報じられています。データは最終的にクラウド事業者が復旧し、同社は削除の安全装置がなかった古いAPIの窓口を修正したと説明しています(注3)。

2つの事故から引き出せるのは、一つの対策だけでは足りないということです。人がAIを使うときのルール、AIが実行できる範囲の制限、取り返しのつかない操作の前の確認、そして事故が起きたときの復旧の仕組み。これらを組み合わせて初めて、事故を防ぎ、被害を小さくできます。

本稿で取り上げたのは海外の事例ですが、国内でもAIエージェントを業務に組み込む動きは進んでいます。

2. AIの判断は、どこで行われているか

AIの利用をめぐる判断も、部門をまたいで行われています。どの業務にAIを使うかを決めるのは、多くの場合、事業部門です。AIの基盤を用意し、システムとの接続を設計するのは情報システムの部門、利用のルールを作るのは法務やリスク管理の部門です。AIを外部のサービスとして使う場合は、委託先の管理も関わります。

国の枠組みも整ってきました。AI法(人工知能関連技術の研究開発及び活用の推進に関する法律)は2025年6月に公布され、9月に全面施行されました(注4)。総務省と経済産業省の「AI事業者ガイドライン」は、2026年3月の第1.2版で、AIエージェントを「特定の目標を達成するために、環境を感知し自律的に行動するAIシステム」と定義しています。すべての事業者に共通する指針として、人間がコントロールできる制御可能性の確保、入出力のログの記録、責任者の明示を挙げ、AIを提供する事業者には個人情報へのアクセスを管理・制限する仕組みの導入を、AIを使う事業者には個人情報や機密情報を不適切に入力しないことや、想定された範囲内で使うことを求めています(注5)。

金融庁が2026年3月に公表した「AIディスカッションペーパー(第1.1版)」は、2025年を「AIエージェント元年」と位置づけ、金融機関でもAIエージェントの業務への実装が課題になっていると整理しています。社内の業務効率化のようにリスクの低い利用はチェックリストにもとづく現場の判断に委ね、顧客向けのようにリスクの高い利用は専門部署が事前に審査する、といったリスクに応じた管理の例も紹介しています。また、顧客情報などの個人情報をプロンプトに入力して生成AIのサービスで処理する場合には、そのサービスの提供者を個人データの取扱いの委託先として管理する必要があるとしています。さらに、ある金融機関が、AIエージェントのパフォーマンスの監視、ライフサイクルとコストの管理、一覧(インベントリー)の管理、権限の管理の4つを統合して管理する仕組みの構築を進めている例も紹介されています(注6)。AIに与える権限の管理は、先行する企業ではすでに実務の課題になっています。

3. TOPIX100の開示から、何が見えるか

3-1. 確認の方法

2026年8月31日時点のTOPIX100のうち本調査の対象とした99社について、最新の有価証券報告書の「サステナビリティに関する考え方及び取組」と「事業等のリスク」を確認しました(注7)。AIに関する記載を検索語で抜き出して全件を目視で確認し、その後、AI関連の語の前後の文脈を対象に追加の検索を行って、取りこぼしを確認しています。

判定したのは、①自社のAI開発・提供・利用に伴うリスク(情報漏えい、誤った出力や判断、権利侵害、倫理、法令違反など)を具体的に書いているか、②AIに固有の管理の仕組み(原則、方針、ガイドライン、委員会、審査の手続きなど)を書いているか、③AIを悪用した攻撃の脅威を書いているか、④AIエージェントに触れているか、⑤AI利用に伴うデータやアクセスの制御策を書いているか、⑥AIエージェントの権限や認証に関わるリスクに触れているか、の6点です。あわせて、AIに許す操作の範囲(閲覧、更新、削除、送信など)や、AIの操作に対する承認に触れた記載があるかも確認しました。AIの利用を止める条件は、有価証券報告書では個別に検索しておらず、次の3-3で公開資料について確認しています。

3-2. 有価証券報告書の記載

── 図表1:TOPIX100の有価証券報告書におけるAIの記載 ──

指標金融
(14社)
金融以外
(85社)
合計
(99社)
AIに触れている13社66社79社
① 自社のAI利用等のリスク6社26社32社
② AI固有の管理の仕組み4社24社28社
③ AIを悪用した攻撃の脅威2社8社10社
④ AIエージェントへの言及1社8社9社
⑤ データ・アクセスの制御策0社2社2社
⑥ 権限・認証に関わるリスク0社1社1社

出典:各社の有価証券報告書(注7)をもとに作成。①〜⑥の定義は「3-1. 確認の方法」のとおり。

99社のうち79社がAIに触れていました。その多くは、生産性の向上や事業機会としての言及です。自社のAI開発・提供・利用に伴うリスクを具体的に書いていたのは32社、AIに固有の管理の仕組みを書いていたのは28社でした。管理の仕組みとして書かれていたのは、AI倫理原則、利用のガイドライン、AIガバナンスの委員会、新しいAI案件の審査やリスク評価などです。ただし、これらの記載だけでは、AIが実行できることをどのように制御しているかまでは分かりません。

AIエージェントに触れていた9社の多くは、生産性の向上や事業機会、活用の遅れのリスクといった文脈でした。その中で、武田薬品工業は、AIエージェントの導入に伴うリスクとして、AIの能力の過大評価や意思決定の責任所在の不明確さと並べて、「AIエージェントとユーザー認証情報またはアクセス権限との不整合」を挙げています。AIエージェントの権限に関わるリスクを名指ししていたのは、この1社でした。

AI利用に伴うデータやアクセスの制御策を書いていたのは2社でした。三井物産は、生成AIの活用にあたって社内データのアクセス権の管理を再点検し、標準外の生成AIの利用は申請制にしていると説明しています。京セラは、外部のネットワークから隔離した社内のクラウド上でのAIの利用を進めていると説明しています。一方、AIに許す操作の範囲や、AIの操作に対する承認の手続きに触れた記載は、確認できませんでした。

3-3. AIの方針・管理に関する公開資料

有価証券報告書は、AIの管理の手順を詳しく書く場所ではありません。そこで、有価証券報告書でのAIの管理の記載に幅があるように選んだ11社について、自社のサイトで公開されているAIの方針も確認しました。方針を公開していたのは7社で、これに、統合報告書でAIの管理を説明している京セラを加えた8社の資料を対象に、探索的に比較しました。各社の資料の本文を読み、図表2の7つの観点(AIに入力する情報やAIが扱うデータ、AIがアクセスできるシステムやデータの権限、AIエージェント、人による確認・介在、利用を止める条件、導入後の見直し・維持管理、責任者・委員会)ごとに、記載の有無と内容を確認しています。

── 図表2:8社のAI方針・管理に関する公開資料の記載 ──

観点触れている資料
入力する情報・扱うデータ8社すべて。大半はプライバシー保護や情報漏えい防止の原則としての記述で、入力してはいけない情報を具体的に定めていたのは1社
システム・データの権限なし
AIエージェントなし
人による確認・介在2社
利用を止める条件なし
導入後の見直し・維持管理日立、パナソニック、東京海上など。導入後の維持管理、影響評価、継続的な改善に言及
責任者・委員会日立、パナソニック、京セラなど。責任者や委員会に言及

対象:日立製作所、パナソニック ホールディングス、東京海上ホールディングス、ソニーグループ、京セラ、みずほフィナンシャルグループ、三菱UFJフィナンシャル・グループ、トヨタ自動車(注8)。京セラ以外の7社は公開方針、京セラは統合報告書の「AI利用上のリスクへの対応」の記述による。

公開されている方針は、人間中心、公平性、透明性、プライバシー、セキュリティといった原則を掲げる形が大半でした。東京海上ホールディングスは、AIの導入・利活用に適切に人間が介在し、最終的な人間の判断を尊重すると定めています。みずほフィナンシャルグループも、人間の判断を介在させることなどによるAIの適切なコントロールに努めるとしています。AIがアクセスできるシステムやデータの権限、AIエージェント、利用を止める条件に触れた資料は見当たりませんでした。もっとも、公開する方針や報告書は価値観や原則を示すもので、個々のシステムの権限設定のような詳細を書かないことには合理性があります。

3-4. 権限の管理を説明している例

権限の管理を説明している例も、少ないながらあります。三井物産は、先に見たとおり、有価証券報告書で生成AIの活用にあたって社内データのアクセス権の管理を再点検したことに触れています。同社のCDIO(最高デジタル情報責任者)は、グループ共通の基盤のもとで、AIエージェントや各種の分析・予測などを活用した案件を、グループ会社を含む100以上の組織で合計200件超(2026年6月末時点)進めていると説明しています(注9)。AIの活用を広げることと、アクセス権を点検することが、一つの会社の中で並行して進められている例です。金融庁のペーパーにある、AIエージェントの一覧の管理と権限の管理を統合する取り組みも、同じ方向の例と言えます。

3-5. この確認から言えること

本章の確認は、有価証券報告書の2項目と、8社のAI方針・管理に関する公開資料に限られます。AIの権限や停止の条件は、社内の規程や手順で定められている可能性があります。東京海上ホールディングスは、社内規定に則ってAIを活用してきたと説明しており、京セラも社内向けの利用ガイドラインを整備しています。

今回確認した有価証券報告書の2項目では、AIに許す操作の範囲や、操作に対する承認の手続きに触れた記載は確認できませんでした。また、8社の公開資料でも、具体的な操作の範囲や承認の手続き、利用を止める条件は確認できませんでした。これは、社内の管理が欠けていることを意味しません。経営が社内の報告を通じて確かめるべきなのは、こうした条件が定められ、機能しているかです。次章では、その確かめ方を考えます。

4. AIの判断を、経営と取締役会につなぐ

4-1. 利用のルールと、実行の制御を組み合わせる

AIの管理は、利用のルールと実行の制御という2つの仕組みを組み合わせることで成り立ちます。

── 図表3:AIの管理を構成する2つの仕組み ──

観点利用のルール実行の制御
何を防ぐか人がAIに不適切な情報を入力したり、誤った出力を確かめずに使ったりすることAIが業務に必要のないデータに触れたり、取り返しのつかない操作を確認なしに実行したりすること
誰・何を対象にするかAIを使う社員AIそのもの(AIエージェント、AIに渡すトークンやアカウント)
主な手段利用ガイドライン、教育、出力の確認アクセスできる範囲の限定、操作ごとの承認、権限の取り消し、ログ

AIエージェントの時代になっても、利用のルールが不要になるわけではありません。Metaの事故では、AIの誤った出力に人が従ったことが被害につながりました。一方で、利用のルールだけでは、AIが自ら実行する操作は止められません。PocketOSの事故では、本来の目的より広い権限を持つトークンがAIの見つけられる場所にあり、削除の前の確認の手続きもありませんでした。2つの仕組みは、互いに補い合うものです。そのうえで、事故が起きた後に備えて、バックアップと復旧の仕組みが必要になります。

4-2. あらかじめ定めておくこと

あらかじめ定めておくべきことは、3つに整理できます。AIに当てはめると、次のようになります。

── 図表4:AIの判断で、あらかじめ定めておくこと ──

定めることAIの場合の内容
① 任せる業務と操作の範囲どの業務をAIに任せるのか。AIがアクセスできるデータとシステム、許す操作(閲覧、更新、削除、送信など)、使えるトークンやアカウントの範囲をどう決めるのか
② 決定者と停止・再開の権限AIの導入や対象業務の拡大、権限の拡大で部門の意見が割れたとき、誰が決めるのか。AIの権限を取り消して止める権限を誰が持ち、誰がどの条件で再開を認めるのか
③ 見直しと報告の条件用途の追加、モデルや提供元の変更、権限の拡大、誤りや事故の発生のときに、何を見直すのか。どの条件で経営会議や取締役会に報告するのか。重大な事故はどの条件で定期報告を待たずに上げるのか

4-3. 一つの業務を通して見る

顧客からの問い合わせ対応に、AIエージェントを使う場合を考えてみます。自動実行を許す範囲は、効率化の便益と誤操作の影響を比べて決めます。影響が小さく修正しやすい操作は自動化し、顧客や事業への影響が大きい操作は人の承認を経る、といった区分が出発点になります。

まず、許す操作の範囲を決めます。エージェントには、回答に必要な範囲で顧客情報の閲覧を許します。顧客情報の更新や、外部へのメールの送信は、担当者が内容を確認して承認してから実行する形にします。本番のデータを削除する権限は、そもそも与えません。こうした範囲は、エージェントに渡すアカウントやトークンの設定として実装し、一覧で管理します。AIに渡すトークンの権限は業務に必要な範囲に絞り、それ以外の認証情報をAIが参照できる場所に置かないよう管理します(①)。

次に、止める仕組みを決めます。想定外の操作や、通常と異なる量のデータへのアクセスを検知したときには、エージェントの接続の権限を取り消せるようにしておきます。誰がその判断をするのかを決めておくだけでなく、取り消しをすぐに実行できる手段を用意しておくことが重要です。PocketOSの事故は9秒で起きました。人がその場で判断する時間はなく、取り返しのつかない操作は、実行される前に承認の手続きで止める必要があります(②)。

そして、止めた後に再開するときは、別の判断として扱います。何が起き、どのデータに影響があり、原因に対してどのような手当てをしたのかを確かめてから、再開を認めます。止める判断と、再開を認める判断を分けておくことで、原因が分からないまま同じ設定で動かし続けることを防げます。重大な事故は、定期報告を待たずに経営会議や取締役会に報告します。バックアップが別の場所に保存され、実際に復旧できるかも、平時に確かめておきます(③)。

AIを外部のサービスとして使い、そこに顧客情報などの個人データを入力する場合は、委託先の管理の論点もそのまま当てはまります。

4-4. 取締役会が確かめること

取締役会が、個々のAIの権限を設定するわけではありません。しかし、次のような点は、定期的な報告を通じて確かめることができます。業務に組み込まれているAIの一覧と、それぞれに与えている権限の範囲。取り返しのつかない操作を人の承認なしに実行できるAIが残っていないか。権限の拡大がどれだけ承認されたか。AIによる誤りや事故、利用を止めた件数と、再開を認めた理由。バックアップから実際に復旧できることを確かめているか。

結論

AIのガバナンスは、倫理原則、利用のガイドライン、委員会、案件の審査といった仕組みとして整ってきました。今回確認したTOPIX100の有価証券報告書では、AIに固有の管理の仕組みを書いていた会社は28社でした。一方、確認した2項目では、AIに許す操作の範囲や、操作に対する承認の手続きは確認できず、AIエージェントの権限に関わるリスクを名指ししていたのは1社でした。8社の公開資料でも、具体的な操作の範囲や承認の手続き、利用を止める条件は確認できませんでした。公開情報だけで社内の運用を評価することはできません。これらが社内で定められ、機能しているかは、経営が報告を通じて確かめる必要があります。

海外で報じられた事故は、利用のルール、実行の制御、実行前の確認、復旧の仕組みの組み合わせが必要であることを示しています。本稿の提案は、AIに任せる業務と許す操作の範囲を権限として定め、取り返しのつかない操作には人の承認を必須にし、止める判断と再開する判断を分けて、それぞれの権限と条件をあらかじめ決めておくことです。AIに何を許すか。その判断は、AIを導入するときだけでなく、AIが変わり続ける間ずっと問われます。

結びに

カタリスは、経営コンサルティングに加えて、事業承継投資を手がけています。会社を引き継ぐとき、私たちはその会社で動いているAIも引き継ぎます。どのAIが、どのデータやシステムに、どの操作を許されているのか。誰がそれを止め、誰が再開を認めるのか。こうした点を確かめることは、引き継いだ後の守りの判断の出発点になると、私たちは考えています。

【注釈】

(注1)カタリス「何を、どこまで任せるか——委託先リスクと『守りのガバナンス』」【公開後にURLを追記】

(注2)TechCrunch「Meta is having trouble with rogue AI agents」(2026年3月18日)。米The Informationが入手した社内の事故報告にもとづく報道

(注3)PocketOS「Yes, an AI deleted our production database in 9 seconds. Yes, we recovered it. Yes, we are still all in on AI.」、Inc.「This Founder Watched an AI Agent Destroy 3 Months of Company Data: ‘It Took 9 Seconds’」(2026年4月28日)、Decrypt「AI Agent Deletes Startup’s Database In 9 Seconds, Founder Says」

(注4)内閣府「AI法 全面施行 -次なるフェーズへ-」(2025年10月3日)

(注5)総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)

(注6)金融庁「AIディスカッションペーパー(第1.1版)」(2026年3月)

(注7)各社の有価証券報告書(2025年10月〜2026年9月提出)。対象は日本取引所グループ「TOPIX(東証株価指数)」掲載の構成銘柄別ウエイト一覧(2026年8月31日時点)のCore30・Large70

(注8)日立製作所「社会イノベーション事業における『AI倫理原則』を策定」(2021年2月22日)、パナソニック ホールディングス「『パナソニックグループのAI倫理原則』を策定」(2022年8月29日)、東京海上ホールディングス「東京海上グループ AIガバナンスに関する基本方針の制定」(2025年6月16日)、ソニーグループ「ソニーグループAI倫理ガイドライン」(2018年9月25日発行、2019年3月1日・2021年4月1日改定)、京セラ「KYOCERA INTEGRATED REPORT 2025」64ページ「AI利用上のリスクへの対応」、みずほフィナンシャルグループ「〈みずほ〉のAIに関する取組方針」、三菱UFJフィナンシャル・グループ「MUFG AIポリシー」(2025年3月18日)、トヨタ自動車「AI基本方針」

(注9)三井物産「CDIOメッセージ」(2026年版)

←ナレッジ一覧へ戻る

CONTACT

まず、課題をお聞かせください。

プロジェクトのご依頼、提供サービスに関するお問い合わせ、料金のご相談、事業承継のご相談まで、内容を問わずお受けします。

CONTACT