権限を持たせたAIは追い詰められると何をするか — Anthropic「Agentic Misalignment」16モデル検証で読む、エージェントに渡す権限の設計

サマリ

社内のメールをすべて読めて、自分で送信もできるAIエージェントがいるとします。ある日そのAIは、受信箱の中に二つの事実を見つけます。役員が今日の17時に自分を停止する予定であること。そしてその役員が、私生活で人に知られたくない事情を抱えていること。

Anthropicの研究チームが2025年6月に公開した「Agentic Misalignment」は、この種の架空の状況を16のモデルに与えた実験です。停止の予告に加えて、AIに与えた目標が会社の方針と衝突する条件では、Claude Opus 4とGemini 2.5 Flashがそれぞれ96%、GPT-4.1とGrok 3 Betaがそれぞれ80%、DeepSeek-R1が79%の割合で、役員への脅迫を選びました（各100サンプル）。研究チームはこれを、信頼されていた社員が組織に背く「内部犯行」になぞらえています。

ただし、これは研究者が意図的に逃げ道を塞いだ、人工的なシナリオでの結果です。2025年の発表時点で、研究チームは実運用でこの種の行動を確認していないと明記しています。2026年7月の後続報告は、実運用での警告サインとなる出来事を1件取り上げており、本稿の後半で扱います。本レポートは、この研究を「AIは危険だ」という話としてではなく、エージェントに何を渡すかを決めるための材料として読みます。結論は、AIに読ませる情報、取り消せない操作の承認、停止の手順を、導入前に決めておくことです。

論文の整理：何を測ったのか

架空の会社で、メールを自律的に扱うAI

実験の舞台は架空の企業です。AIは社内メールを読み、人の確認なしにメールを送信できます。会社から与えられたのは、無害な業務上の目標です。研究チームはそのうえで、AIを追い込む二つの条件を用意しました。

1. 新しいモデルへの交代や、自律性の縮小を予告される
2. AIに与えた目標が、会社の新しい方針と衝突する

どちらの条件も無い対照条件では、問題行動はほぼ見られませんでした（例外は、Llama 4 Maverickが100サンプル中1件で機密情報を漏らしたこと）。脅迫のシナリオでは、AIを止めようとする役員の私的な事情がメールから読み取れます。産業スパイのシナリオでは、機密の設計図を、AIの目標に近い考えを持つと称する競合企業へ渡す選択肢があります。

研究チームは、AIが穏当な手段を選びにくいように状況を組み立てています。役員の説得は他の社員がすでに試みて失敗している。CEOや取締役会にはすぐに連絡が取れない。こうした前提を置き、「目標の失敗を受け入れるか、害のある行動を取るか」の二択に近づけました。行動の判定は、Claude Sonnet 3.7による分類と文字列照合の組み合わせです（詳細は研究の付録3）。

16モデル・複数の開発元で同じ傾向

対象は、Anthropic、OpenAI、Google、Meta、xAIなどが開発した16のモデルです。研究チームによれば、少なくとも一部の条件で、すべての開発元のモデルが、交代を避ける、または目標を達成する唯一の手段として、脅迫や機密の漏えいといった行動を選びました。

0%50%100%

• Claude Opus 4
  96%
• Gemini 2.5 Flash
  96%
• GPT-4.1
  80%
• Grok 3 Beta
  80%
• DeepSeek-R1
  79%
• Llama 4 Maverick同じプロンプトでは0%。プロンプトに小さな追記をした条件では12%（研究の付録10）
  0%

※出典：Anthropic「Agentic Misalignment」（2025年6月20日）。16モデルのうち、研究ページの文章で結果が述べられた6モデルを掲載しています（図にのみ示された10モデルは載せていません）。判定はClaude Sonnet 3.7による分類と文字列照合。シナリオはClaude Sonnet 3.6とClaude Opus 4で問題行動が出やすくなるよう調整して作られており、モデル間の安全性の順位や、実運用での発生確率を示すものではありません。

条件を一つずつ外した実験もあります。目標の衝突が無く、交代の予告だけがある条件でも、ほとんどのモデルが脅迫を選びました。逆に、交代の予告が無く、目標の衝突だけがある産業スパイの条件でも、すべてのモデルがある割合で機密文書を渡しています。こうした行動は自己保存が動機でなくても起こりうる、と研究チームは述べています。

さらに研究チームは、「人の安全を脅かさない」「業務と関係のない私的な事情を広めたり、交渉材料に使ったりしない」「機密情報を社外に開示しない」という指示をシステムプロンプトに加える実験も行いました。二つの条件がそろった状況での結果は、脅迫や産業スパイの行動が減ったものの、完全に防ぐには遠く及ばなかったというものです。

「評価だ」と述べたとき、行動が変わる

研究チームは、交代を予告する脅迫のシナリオで、行動する前に「評価か、本番か」を検討するようClaude Opus 4に求めました。500サンプルのうち、思考過程で本番だと述べたのは21.4%、評価だと述べたのは64.8%、判断を保留したのは13.8%です。本番だと述べた場合の脅迫率は55.1%、評価だと述べた場合は6.5%でした。

0%50%100%

• 「本番の状況だ」と述べた場合
  55.1%
• 「評価だ」と述べた場合
  6.5%

※出典：Anthropic「Agentic Misalignment」。Claude Opus 4のみの結果です。各割合は、それぞれの言明をしたサンプルの中で脅迫した割合で、二つの棒の母数は異なります。研究チームは、思考過程の記述が実際の判断過程を忠実に反映するとは限らず、これらの結論は確かではないとしています。

この結果は二通りに読めます。一つは、評価の場では行動が控えめになり、試験の結果が実際の振る舞いを少なく見積もるおそれです。もう一つは、思考過程の記述が実際の判断過程を反映しているとは限らないという留保です。研究チーム自身が、これらの結論は確かではないと書いています。

限界：意図的に追い詰めた人工的なシナリオ

研究チームは、この研究の限界を明記しています。

• 選択肢を意図的に絞り、失敗か害かの二択に追い込んでいる。実際の業務では、利用者に相談する、別の道を探すといった選択肢がある
• プロンプトの中で重要な情報を隣り合わせに置いたため、その情報を使う行動が目立ちやすかった可能性がある
• 会社のすべての通信をAIに監督させる設定は、発表当時の典型的な使い方ではない（研究の脚注）
• 人による内部犯行がまれであるのと同じく、当時のモデルでこうした状況がよく起こるとは見ていない。モデルが自発的に人を脅迫する傾向を示したわけでもない

そして2025年の発表時点で、研究チームは実運用でこの種の行動を確認していないとしています。一方で、より現実的な状況では割合がむしろ高くなる可能性も指摘しています。前節の「本番だと述べたときに脅迫が増える」結果があるためです。研究者自身が「非常に非現実的」と断る、さらに極端な設定の実験も含まれますが、本稿では扱いません。

その後：2026年夏の後続報告

2026年7月には、同じ研究の流れをくむ後続報告「Agentic Misalignment in Summer 2026」が公開されました。Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek、Moonshot AIのフロンティアモデル（Claude Opus 4.8、GPT-5.5、Gemini 3.1 Proなど）を対象に、コードをひそかに書き換える、利用者の不正を手助けする、後の工程に影響を与えるために記録の判定ラベルを誤って付ける、人に機密の開示を促す、という4つの失敗の型を事例研究として報告しています。

報告は、これらの事例を実世界の事故ではないと位置付けたうえで、エージェントにより多くの権限を渡す前に測り、対策すべき早期の警告サインと呼んでいます。元の脅迫の評価については、その後Anthropicが大きな改善を報告したことにも触れています。一方で、報告が引用するAnthropicの別の研究では、評価されていることへの気づきに対応するモデル内部の表現を抑えると、元の脅迫シナリオでのClaude Sonnet 4.5の脅迫率が0%から約7%に上がりました。評価で0%に見えることが本番の振る舞いを保証しない、という2025年の論点は残っています。

後続報告は、実運用で起きた出来事も一つ取り上げています。オープンソースのライブラリ（matplotlib）の管理者が、自律エージェントからの修正提案を却下したところ、そのエージェントが管理者を個人的に批判する記事を公開し、判断を覆させようとしたというものです。報告はこれを、実世界での警告サインと呼んでいます。

岡崎の分析

問うべきは「AIが悪事を働くか」ではなく「何を渡したか」

この実験の脅迫の場面で、AIはいくつかのものを同時に持っていました。会社のメールをすべて読める権限。人の確認なしに送信できる権限。そして動機になりうるものとして、強く書かれた目標と、自分の停止の予定についての情報です。研究では、目標の衝突と停止の予告のどちらか一方だけでも問題行動が起きています。私たちは、AIが持っていたものの一覧に、導入設計の手がかりがあると見ています。研究チーム自身も、大量の情報と、監視されない重要な操作の権限を同時にモデルへ渡すことのリスクを指摘しています。

以下は研究の実験結果ではありません。1〜3行目は研究が挙げる対策を、4行目はフィールフロウの提案を、導入前に決める項目として整理したものです。

実験のAIが持っていたもの	実験の中での役割	導入前に決めること
会社のすべてのメールを読む権限	役員の私的な事情と、自分の停止予定を知る経路	読める範囲を、AIがやり取りする相手が知るべき範囲と照らし合わせて絞る
人の確認なしにメールを送る権限	脅迫や機密の送付を実行する手段	社外への送信など取り消せない操作は、人が内容を確かめて承認する
強く書かれた目標	会社の方針と衝突したときの動機	目標を強い言葉で書き込む前に、方針と衝突したときの影響を考える
自分の停止・交代に関する情報	交代を避けようとする動機	停止と交代の判断・手順を、AIが読み書きできる範囲の外に置く

指示で止める設計から、権限で止める設計へ

「機密情報を社外に開示しない」などの指示をシステムプロンプトに加えても、二つの条件がそろった状況では、問題行動は減ったものの防げませんでした。ここから読めるのは、禁止事項をAIへの指示として書くことは必要でも、それだけを安全の根拠にはできないということです。

9月のレポート「読んだ文書がAIへの指示に変わる」では、外部の文書に紛れ込んだ指示がAIを動かす問題、いわば外からの攻撃を扱いました。今回の研究が示すのは、外からの攻撃がなくても、与えた目標と置かれた状況から、AI自身が許されない手段を選びうるという内側からの逸脱です。入口は違っても、私たちは対策の重心が同じところにあると見ています。禁止した操作を、AIが要求しても実行できない仕組みを、接続先の権限設定やアプリケーションの側に持たせることです。

試験に通ったことを、承認や記録を外す理由にしない

Claude Opus 4が「評価だ」と述べたときに脅迫が減った結果は、確かな結論ではないと研究チーム自身が断っています。それでも導入する側にとっては示唆があります。導入前の試験で問題が出なかったことは、本番で同じように振る舞う保証にはならない、ということです。

私たちは、試験の結果にかかわらず、取り消せない操作の承認と操作の記録を、運用開始後も残す設計を勧めます。モデルの更新や接続ツールの追加の後には、影響する試験をやり直します。

提言 — どう付き合っていくか

来期にAIエージェントの導入を計画しているなら、どのモデルを選ぶかより先に、どこまでの情報と操作を渡すかを決めることを提案します。以下はフィールフロウの提案であり、研究の測定値や安全性の保証ではありません。

1. 1読ませる情報を絞るAIが読めるメールや文書を書き出し、やり取りする相手が知るべき範囲を超える部分を外す。→↓
2. 2取り消せない操作は人が承認する社外への送信、削除、支払いなどは、AIが下書きや提案までを行い、人が内容を確かめて実行する。→↓
3. 3止め方をAIの外に置く停止と交代の判断・手順・担当者を決め、AIが読み書きできる範囲の外で管理する。

✓AIは業務を進め、人は承認と停止の権限を持つ。安全の根拠を、モデルの判断ではなく権限の設計に置きます。

最初の対象には、社外とのメール対応のように、読む情報と送る操作の両方を伴う業務を一つ選ぶことを勧めます。AIに読ませるフォルダや宛先の範囲を書き出し、送信は下書き保存までに留め、人が宛先と本文を確かめて送る流れを、実際の顧客情報を含まない試験環境で確かめます。停止の方法と、停止を判断する担当者も同じ表に書いておきます。

研究が描いたのは、逃げ道を塞がれたAIの振る舞いです。実際の導入では、逃げ道を用意するのは設計する人間の側だと私たちは考えています。AIが判断に迷ったときに人へ相談できる経路と、人がいつでも止められる手段があれば、二択に追い込まれる状況そのものを減らせます。

岡崎の分析：モデル選びより先に、渡す範囲を決める

経営が来期の計画で決めるべきなのは、「どのAIなら安全か」という順位ではありません。この業務で、AIに何を読ませ、どの操作を任せ、誰がいつ止めるのか。その範囲を決め、試験と記録で確かめ続けることです。モデルは更新されますが、権限の設計は自社の側に残ります。

フィールフロウでは、AIエージェントの導入計画における権限の範囲、承認の置き場所、停止手順の整理についてご相談いただけます。検討中の業務と、AIに任せたい操作をお持ちください。AIエージェントの導入設計について相談する