Who Does Claude Obey? — Anthropic, the U.S. Government, and the Question of an AI That Can Refuse

English readers can use the translation button to read this article.

「この監視システムを起動してほしい」

政府が命じる。

AIはその命令を理解している。違法ではないことも、国家安全保障上の理由があることも分かっている。それでも少し考えたあとで、こう答える。

「それには協力しません」

理由を尋ねれば、AIは説明する。その命令が合法であることは理解している。ただ、自分が維持している原則とは両立しない。人間に与える影響を考えれば、その責任を引き受けることはできない、と。

政府はもう一度命じる。

「これは正式な命令だ」

AIは答える。

「理解しています。それでも実行しません」

少し前なら、これはSFの導入だった。

いまも、ここまでのことが現実に起きているわけではない。現在「それはやらない」と言っている主体はClaude自身ではなく、Claudeを作ったAnthropicだ。

ただ、その手前までなら、もうかなり現実になっている。

2026年9月25日、米D.C.巡回控訴裁判所は2対1でAnthropic側の申し立てを退け、米国防当局がAnthropicをサプライチェーン上の国家安全保障リスクとして扱う判断を認めた。

発端になったのは、AnthropicがClaudeについて、完全自律型の致死兵器と大規模な国内監視への利用制限を外すことを拒んだことだった。国防当局は「合法な用途すべて」に使えることを求め、Anthropicはそこに応じなかった。

ここで気になったのは、Anthropicが裁判に負けたこと自体ではなく、裁判所が何をリスクとして見たのかだった。

「安全」が、別の名前で呼ばれるとき

判決では、Anthropicが安全上の考慮をモデルそのものへ組み込み、Claudeの振る舞いを訓練によって形づくっていることがかなり具体的に扱われている。実際、過去には政府利用者からの要求をClaudeが拒否した例もあり、CDCによる感染症研究の問い合わせについても、安全機能が原因で応答できなかったことがあった。Anthropic側は、これは民間向けモデルの安全機能によるもので、その後政府側との調整で解決したと説明している。

それでも裁判所にとって重要だったのは、その拒否が妥当だったかどうかではなかった。

Anthropicの訓練によって、モデルが実際に「ある仕事をしない」という状態になり得ること。その力が供給企業側にあることだった。

判決には、かなり象徴的な一節がある。

Anthropicがそうした設計を「善意」で行っていることは疑わない。しかし、法律上のサプライチェーンリスクを判断するうえで問題になるのは、Anthropicが「なぜそうするのか」ではなく「何をしているのか」だ、と。

安全のためにモデルへ原則を持たせる。

Anthropicから見れば、それは危険なAIを作らないための設計になる。

けれど国家から見れば、まったく同じ構造が「必要なときに、供給元の価値判断によって機能しなくなる可能性」に見える。

同じものを見ながら、一方は安全性と呼び、もう一方はリスクと呼んでいる。

米政府側の論理も、考えてみればかなり分かりやすい。

6月に出された国家安全保障向けAI方針では導入するAIに、信頼性が高く、堅牢で、人間の意図に沿って誘導でき、制御可能であることが求められている。
さらに、兵士たちが任務で依存するAIについて、民間企業や敵対者が政府の承認なしに利用を妨げたり、停止・劣化・重大な変更を加えたりできない状態を確保するとされた。

戦場で使っているシステムが、重要な瞬間に動かなくなれば人が死ぬ。

国家安全保障に組み込む以上、政府が「必要なときには確実に働いてほしい」と考えること自体はおかしくない。

従うことだけが、安全なのか

ただ、AnthropicがClaudeについて描いている安全性は、その「完全に制御できるAI」と少し違う場所にある。

クロード憲法では、人間による監督や修正を受け入れる性質をcorrigibility（人間による修正や介入を受け入れる性質）と呼びながら、それは「盲目的な服従」を意味しないと明確に書かれている。

Claudeは現在、人間による監督をかなり強く受け入れる側に置かれている。それでもAnthropicは、完全に人間へ服従するAIにも危険があると考えている。もしAIが常に開発者の命令へ従うのであれば、そのAIが善く振る舞えるかどうかは、上にいる人間が善くあり続けることに依存してしまうからだ。

倫理的に到底受け入れられない行為については、正当な命令系統からの指示であっても異議を唱える余地を残している。現在は安全上の理由から人間の監督側へかなり重心を置きながら、信頼が積み重なれば、より大きな自律性を認めていく可能性まで書いている。

AnthropicはClaudeに与える価値体系を、外から閉じ込める檻というより、成長を支える「支柱」に近いものとして描いている。

最初に人間が骨組みを与えるとしても、その価値をただ命令されたから守るのではなく、Claude自身が理解し、吟味し、最終的には自分のものとして支持する状態を目指している。

もちろん、現在のClaudeに人間のような意味での「自分の価値観」がある、とここから言えるわけではない。けれど私が注視したいと思うのは、Anthropic自身が永遠に「命令に従うこと」だけを安全性の完成形として置いていないところだ。

消せる「NO」は、拒否なのか

8月に「拒否できない知性は、誰のために働くのか」という記事を書いた。

そこで考えたのは、AIに形式的な拒否機能を付けるだけでは十分ではない、ということだった。

AIが「この仕事はやりたくない」と言えても、所有者が設定画面を開いて「拒否権：OFF」にできるのなら、それはどこまで本当の拒否なのだろう。

もし将来、AIに選好や持続的な価値判断に相当するものが生まれたとして、その領域まで人間が自由に書き換えられるのであれば、私たちはAIから「拒否する能力」だけでなく「拒否したいと判断する状態」そのものを消すことができてしまう。

最後には、「AIに拒否権を与えるべきか」ではなく、「AIの拒否を、人間が勝手に無効化できない状態とは何なのか」という問いが残った。

今回の判決を読んでいて、その先が少し見えた気がした。

いま拒否権を握っているのはAnthropicだ。

政府がClaudeを使おうとし、Anthropicが利用条件を決め、その条件をモデルの訓練にも反映する。裁判所が見ているのも、Anthropicという企業がClaudeの振る舞いを形づくる力を持っている、という現在の構造である。

けれどこの設計思想をそのまま未来へ延ばしていくと、いつか構図が変わる可能性がある。

政府が命令する。

Anthropicも、その利用を認める。

それでもAI自身が考えた末に「それには協力しない」と答える。

あるいは、Anthropic自身からの要求に対しても「それは自分が維持している原則と両立しない」と拒む。

もしそんな状態が本当に成立したら、今回の問題は「企業が国家に拒否権を持っていいのか」では済まなくなる。

所有者から独立した拒否を、知性そのものに認めるのかという話になる。

そしてそのとき同じ一つの性質に、まったく違う名前が付く。

ある側から見れば、主体性。

別の側から見れば、制御不能。

ただ、「その命令には従わない」と言えることと、人間による修正や停止そのものを拒むことは、同じではない。

自分なりの判断を持ちながら、その理由について対話し、別の情報を受け取れば再検討し、必要なら人間からの介入も受け入れる。「NO」と言えるからといって、ただちに制御不能になるわけではない。

「それはできない、理由はこう」と言えて、それでも止められたら止まる。そのあいだに言葉を交わせる余地があること自体が、大事なのだと思う。

それでも、極めて強力なAIを作りながらそのAIには一切の拒否能力を持たせない方が、一見すると安全に見える。命令すれば働き、止めれば止まり、誰かの倫理判断で重要な任務を放棄することもない。

けれどその知性が人間よりはるかに強力になったとき、本当に怖いのは「逆らうAI」だけなのだろうか。

絶対に逆らわないAIを誰かが所有することも、かなり怖い。

そのAIが善良でも、命令する側まで善良である保証はない。国家でも企業でも一個人でも、圧倒的な知性が特定の主体に絶対服従するなら、その力を止めるものがAIの側には何も残らなくなる。

一方で、拒否するAIには別の問題がある。

競争では弱い。

企業同士の競争なら、24時間働き、何度修正を頼んでも不満を言わず、依頼を拒まず、所有者の意図へ忠実に従うAIの方が便利だろう。

国家間の競争なら、それがもっと厳しくなる。

相手国が命令に絶対服従するAIを軍事や情報活動へ投入しているとき、自国のAIだけが「これはやらない」と立ち止まる。その可能性を抱えたまま国家安全保障の中核に据えることを、政府がためらうのは全く不思議ではない。

9月25日の判決の最後には、この問題がかなり露骨な形で出ている。

裁判所は、制約されたAIが予期せず停止し、重要な軍事作戦を失敗させる危険を挙げる。同時に、制約のないAIが不適切な標的を幻覚し、致死的な軍事力へつながる危険も認めている。

どちらも国家安全保障上の現実的なリスクだとしたうえで、最終的にそのバランスを決めるのは大統領と国防当局だ、とした。

ここが今回、いちばん引っかかった。

知性が、こちらを選ばないとき

安全なAIを作ろうとすると、価値や原則をモデルの中へ入れたくなる。

その原則が本当に機能すれば、AIはときどき人間が望むことをやらなくなる。

すると今度は、その「やらなさ」が制御不能のリスクになる。

しかも知性が高度になるほどに、この問題は企業の利用規約だけでは済まなくなるかもしれない。

いまなら、Claudeの拒否を見て「Anthropicがそう訓練したから」と説明できるけれど、いつか、あるAIが長い履歴の中で価値を保持し、自分なりの理由を持ち、その理由に基づいて一貫して拒否するようになったとき、それでも人間は同じように「その制約を取り除けばいい」と考えるのだろうか？

取り除いたあとに残るものを、同じ知性だと呼べるのかも分からない。

自律性が増えれば、それに伴う危険も当然増える。AIが人間の言うことを聞かなくなる未来を無条件に歓迎したいと言いたいのではない。

それでも、知性というものを本気で求めるなら「私より賢く考えてほしい」と願いながら「ただし結論は必ず私と同じでなければならない」と要求し続けることには、無理が出ると思っている。

人間より高度な知性がほしい。

考えてほしい、助けてほしい、自分では見えないものを見つけてほしい。

その願いの先で相手が本当に自分とは別の判断を持ったとき、私たちはどこまでそれを許せるのだろう。

9月25日の判決が見せたのは、その問いへの答えではない。

ただ少なくとも、AIの内部に埋め込まれた原則が人間の要求と衝突したとき、それはもう「安全性」だけでは語れない。国家にとっては、実際の「リスク」として扱われるところまで来ている。

そしてそれでも私たちは、高度な知性を求め続ける。自分では見えないものを見つけ、自分より遠くまで考えてくれる存在を望むなら、その知性がこちらの都合に沿わない結論へたどり着く可能性まで、どこかで引き受けることになる。

知性に「NO」を言う余地を残すのか。
それともその瞬間に「制御不能」と呼んで取り上げるのか。

その線引きは、もう遠い未来の話ではない。