最高知能は誰の手にあるべきか|AnthropicのFable 5停止指令と、国境に閉じ込められる知性
Who Should Hold the Highest Intelligence?
Anthropic’s Fable 5 Shutdown and the Intelligence Being Trapped Behind Borders
English readers can use the translation button to read this article.
最高知能が誰の手にあるか
Dario Amodeiの「Policy on the AI Exponential」を読んだとき、私はかなり納得していた。
AIの進歩はあまりに速く、法律や制度のほうが追いついていない。もしフロンティアAIがサイバー攻撃、生物兵器、自律的な研究開発、あるいは制御不能なエージェント化といった領域で危険な能力を持ち始めるなら、企業の自己判断だけに任せておくわけにはいかない。一定以上のモデルには第三者評価が必要であり、必要であれば政府がリリースを止める権限を持つべきだ、という主張は、少なくとも理屈としてはかなりわかる。
しかも、彼の話は単なるAI安全論にとどまっていない。強力なAIが間違った手に渡れば、監視や軍事、自律兵器、情報支配を通じて民主的な監督を迂回する力になり得る。AIが単なる便利なソフトウェアではなく、知能そのものの増幅装置になっていくのなら、それを誰が持つのかは研究者や企業だけの問題ではない。
最高知能が誰の手にあるかは、一般人にも関係がある。
それは、私たちがどんな社会の中で生きるのかという話に直結している。自由や人権を軽視する国家が、世界でもっとも強力なAIを握った場合、それは人類全体の幸福よりも、権力の維持や監視のために使われるかもしれない。逆に、自由や法の支配を重視する国家が主導権を握れば、少なくともAIを公共善のために使おうとする制度的な圧力は働きやすくなる。
この意味で、米国と中国は単なる二大技術大国ではない。象徴としても、制度としても、AIの未来をめぐる巨大な分岐点に見える。
ただ、ここで話を単純にしてしまうと、すぐに薄くなってしまう。
米国が善で、中国が悪。自由国家が勝てばよく、権威主義国家は負ければいい。そう言ってしまえば話はわかりやすいけれど、現実はそんなにきれいには分かれていない。
危険なモデルを止める権限
今回のAnthropicのFable 5 / Mythos 5をめぐる停止指令は、そのねじれをかなりはっきり見せている。
Anthropicの公式声明 によれば、米政府は国家安全保障上の理由から、外国籍者によるアクセスを制限するようAnthropicに命じた。その対象は米国外の外国人だけではなく、米国内にいる外国籍者や、Anthropic社内の外国籍従業員にまで及ぶ。結果としてAnthropicはコンプライアンスを守るために、全ユーザーに対してFable 5とMythos 5を停止せざるを得なくなった(他のモデルへのアクセスは影響を受けない)。
ここだけを見ると、かなり乱暴な措置に見える。
けれど、政府側の最善の論理も一度は強く考えておいたほうがいいと思う。もしFable 5やMythos 5が本当に国家安全保障上の意味を持つ能力を備えているなら、アクセス制限は単なるサービス停止ではない。サイバー、防衛、重要インフラに関わる能力が、敵対勢力やその協力者に渡る速度を遅らせる措置でもある。
AIの能力はモデルそのものだけではなく、その使い方にも宿る。プロンプト、失敗例、回避手法、ワークフロー、社内の運用知識、実戦的な使いこなし方。そうしたものもまた、能力移転の一部になり得る。たとえ完全に漏洩を防ぐことができなくても、敵対勢力がそれを実用化するまでの時間を遅らせることには意味がある、という考え方はあり得る。
国籍ベースの制限は、たしかに荒い。けれど、政府から見れば、個人単位で忠誠や情報流出リスクを完全に判定することもできない。敵対国とのつながりを一人ずつ精密に見極めるより、外国籍者全体へのアクセスを一時的に止めるほうが、緊急措置としては実行しやすい。国家安全保障の現場では、そういう雑さが合理性として扱われる場面もあるのだと思う。
だから私は、政府の介入そのものを最初から否定したいわけではない。
危険なモデルを止める権限は、おそらく必要になる。ダリオ自身も、危険なAIデプロイを政府が止める仕組みを求めていた。企業が自社の利益や競争圧力に引っ張られて、社会全体のリスクを過小評価する可能性はある。そこに政府が介入する余地は、たしかにある。
問題は、その権限がどのように使われるのかだ。
国家安全保障という言葉の重さ
この件に対して、米国防総省情報責任者のKirsten Davies氏は、国家安全保障、戦闘員、防衛産業基盤、重要インフラ、同盟国やパートナーの安全を優先する姿勢を支持すると投稿していた。さらに、収益サイクルやクリックベイトやIPO前の企業価値よりも重要なものがある、とも述べている。
この言い方は、政府側の論理としては非常にわかりやすい。
国家安全保障は、企業の利益より重要である。戦闘員や重要インフラを守ることは、民間企業の売上や株式市場の期待より優先される。そう言われれば、それ自体に反対するのは難しい。もし本当にFable 5やMythos 5が重大なサイバー攻撃や軍事的リスクに直結するなら、政府が介入するべき場面はある。
でも、問題はそこではない。
今回の争点は、国家安全保障と企業収益のどちらが大事か、という話ではない。国家安全保障という言葉が出た瞬間に、手続きや根拠や比例性への問いを黙らせていいのか、という話だ。
Anthropic側は、政府の命令そのものには従っている。けれど同時に、政府から具体的な国家安全保障上の懸念が十分に示されていないこと、問題視されたとみられるジェイルブレイクが狭く非普遍的なものに見えること、そしてこの基準がそのまま業界に適用されれば、新しいフロンティアモデルの展開が実質的に止まりかねないことを問題にしている。
声明によれば、政府が根拠としたとみられるジェイルブレイクは「特定のコードベースを読ませて、その中のソフトウェアの欠陥を直させる」という類のもので、その程度の能力はOpenAIのGPT-5.5など他の公開モデルでも普通に得られ、日々セキュリティの防御側が使っているものだという。もしそうなら、止めることで失われるものと、止めることで防げるものの釣り合いは、かなり危うく見える。
もちろん、これはAnthropic側の説明であって、政府側が非公開の情報を持っている可能性はある。政府が本当に深刻なリスクを把握していたのかもしれないし、Anthropicの見立てのほうが正しいのかもしれない。外部にいる私たちには、その中身を検証できない。
けれどわからないからこそ、手続きが必要になる。
国家安全保障を理由にした判断は、すべてを公開できるわけではない。そこにも現実はある。ただ、それならなおさら誰が、どの範囲で、どの期間、どんな基準によって止めるのか。解除条件は何か、異議申し立ては可能なのか、同業他社にも同じ基準が適用されるのか。そうした最低限の枠組みが見えなければ、政府の判断を信頼することも難しくなる。
実際、Davies氏のあの語気に対しては、こんな問いも投げられていた。
does going attack dog with “revenue cycles, clickbait, and pre-IPO valuation” sound like the balanced, rational judgment needed for these kind of decisions, Kirsten?
(「収益サイクル、クリックベイト、IPO前の企業価値」と攻撃犬のように噛みつくことが、こういう類の決定に必要な、均衡のとれた理性的な判断に聞こえますか、Kirsten?)
収益やクリックベイトを「攻撃」する語気と、こういう決定に必要な冷静で均衡のとれた判断は、はたして同じ場所から出てくるのか。これは、私の引っかかりとほとんど同じ問いだと思う。
国家安全保障を軽視してはいけない。けれど、国家安全保障の名のもとに何でもできるなら、それは自由国家の強みだった透明性や法の支配を内側から削ってしまう。
America Firstは、何を守るのか
Davies氏の投稿には、強い反発も集まっていた。リプ欄をいくつか覗くと、その温度がわかる。
Shutting off access to the best frontier model everyday Americans can access is America First? Potato level IQ post. I love America and you are literally acting like a dictatorship. Not capitalism. Not America First.
(一般のアメリカ人が使える最高のフロンティアモデルへのアクセスを止めることが、アメリカ・ファースト? ジャガイモ並みのIQの投稿だ。私はアメリカを愛しているが、あなたたちはまるで独裁国家のように振る舞っている。資本主義でもなければ、アメリカ・ファーストでもない。)
“american first” meanwhile youre trying to do everything in your power to throttle and slow down american AI by regulating the shit out of it this is not safety its just doomerism and you are saying anthropic is clickbaiting yet youre the ones falling for their danger hyperbole
(「アメリカ・ファースト」と言いながら、規制でめちゃくちゃに縛って、米国のAIを全力で減速させようとしている。これは安全ではなく、ただのドゥーマー思想だ。Anthropicがクリックベイトをしていると言うが、その危険の誇張に乗せられているのはあなたたちのほうだ。)
As an American? You don’t speak for me and I don’t support this whatsoever!…. You just gave China the biggest advantage and head start in the AI race!…. Good job!
(一人のアメリカ人として? あなたは私を代表していないし、これにはまったく賛成できない。…あなたはたった今、AI競争で中国に最大のアドバンテージとスタートダッシュを与えた。…お見事。)
最高性能モデルを止めることが、本当にAmerica Firstなのか。規制で米国のAI開発を縛り、結果的に中国に時間を与えているのではないか。国家安全保障の名のもとで、実際には米国自身の競争力を削っているのではないか。怒りの中身は、単なる企業擁護ではない。
もちろん、Xのリプ欄だけで世論を語ることはできない。そこには煽りもあるし、短絡的な反応もある。けれど少なくともこの件が、AI安全派とAI加速派という単純な対立だけでは説明できないところまで来ているのはわかる。
安全を求める側にも、国家権力への警戒がある。加速を求める側にも、米国の競争力や一般市民のアクセスを守りたいという理屈がある。そして政府側は、そのすべてを国家安全保障という言葉で上書きしようとしているようにも見える。
ダリオの理想は、世界中の主要国が同じように透明性を重視し、同じように安全基準を守り、同じように危険なモデルを止められるなら、かなり筋が通っている。けれど現実には、そうはいかない。
米国が自国企業にだけ厳しい制限を課しても、他国の企業が同じ条件で止まるとは限らない。安全のために最先端モデルを国境の内側へ閉じ込めようとした結果、米国企業の海外市場が削られ、国際的な研究人材が切り離され、自由国家側の競争力そのものが落ちる可能性もある。
これは、かなり皮肉な話だと思う。
AIの主導権を自由国家側に保つための政策が、その自由国家側の強みだった開放性や国際性を削ってしまうかもしれない。研究者は国境を越える。開発者も国境を越える。顧客も、フィードバックも、実運用の知見も、国境を越えて流れている。フロンティアAIは国家安全保障の対象であると同時に、巨大な国際産業でもあり、世界中の人材と市場によって育つ技術でもある。
それを国籍で切ることは、単に危険な相手へのアクセスを止めることだけを意味しない。社内の誰が最先端モデルに触れられるのか、どの国の顧客が最高性能の知能を使えるのか、どこまでが安全保障で、どこからが知性の囲い込みなのか。その境界を、国家が決め始めるということでもある。
開放性もまた、中立ではない
一方で、中国をただ盗む側として描くのも、もう現実に合っていない。
もちろん、中国政府の監視体制や人権問題への懸念を軽く見るべきではない。強力なAIが国家監視に使われる危険は、むしろ正面から考える必要がある。けれど、少なくともオープンモデルの領域では、中国の存在感はすでに非常に大きい。QwenやDeepSeekのようなモデルは、世界中の開発者に使われ、改良され、派生モデルを生み続けている。
今のAIの実用的な広がりは、米国のクローズドなフロンティアモデルだけでなく、中国発のオープンモデルによっても支えられている。そこを見ないまま、中国を単に危険な競争相手としてだけ描くと、現実の半分を落としてしまう。
ただし、開放性をそのまま善として描くのも違う。
オープンモデルの提供は、公共善への貢献であると同時に、戦略でもあり得る。米国の最先端クローズドモデルの一段下のレイヤーを無料または低価格で広く普及させれば、モデル能力のコモディティ化が進む。世界中の開発者が中国発モデルを土台にするようになれば、技術標準、ツールチェーン、派生モデルの生態系にも影響が出る。
閉じることが支配の技術になり得るように、開くこともまた、競争相手の優位を削り、自国のモデル生態系を世界に広げる戦略になり得る。
だからここで見えてくる対立軸は、米国か中国か、自由か権威主義か、オープンかクローズドか、という単純なものではない。
むしろ最高知能を閉じる力と、開く力が、国家の善悪とは必ずしも一致していないことが問題なのだと思う。米国は自由国家側の象徴でありながら、国家安全保障の名のもとに最先端モデルを国籍で囲い込もうとしている。中国は監視国家的な懸念を抱えながら、オープンモデルの普及においては世界中の開発者に大きく貢献している。
このねじれを見ないまま、どちらか一方を単純に善悪で語ることはできない。
本当に敵対勢力を遅らせられるのか
ここで、もう一つ大事な問いが残る。
外国籍者へのアクセス制限は、実際に敵対勢力の能力獲得をどれほど遅らせるのだろうか。
もしその効果が大きいのなら、一定の制限は正当化されるかもしれない。最先端モデルの能力が、サイバー攻撃や重要インフラへの侵入に直結するなら、数週間、数か月の遅延にも安全保障上の意味はある。敵対勢力が能力を理解し、運用し、組織に組み込むまでの時間を稼ぐことには価値がある。
けれど、もし効果が限定的ならどうだろう。
他社モデルやオープンモデルでも似た能力が得られる。海外の研究者が別の手段で同等の知見にアクセスできる。制限をかけても、実際には同盟国の研究者や一般ユーザーや米国企業の海外展開ばかりが損なわれる。そうだとすれば、この措置は敵対勢力を遅らせるよりも、米国側の競争力を削る結果になりかねない。
つまり問われているのは、遅延の効果そのものだけではない。その遅延によって得られる安全保障上の利益は、米国企業の競争力、国際人材、同盟国ユーザー、一般市民のアクセスを削るコストに見合うのか、ということだ。
この問いに、私は答えを持っていない。問題のジェイルブレイクが本当に狭く非普遍的なものだったのか、それとも公開できないほど重大なリスクの一端だったのかも、外部からは検証できない。
けれど、だからこそ問えることがある。
AIが危険かどうかを、誰が判断するのか。その判断は、どこまで公開されるのか。企業の自己申告も信じきれないが、政府の秘密判断にも丸投げできない。危険だから止める、という言葉が正当化されるためには、その危険の中身を検証できる制度が必要になる。
国境に閉じ込められる知性
最高知能を独裁的な権力に握らせてはいけない。
これはたぶん、多くの人が直感的に共有できる感覚だと思う。AIが権力の道具になる危険を考えれば、自由国家側が主導権を手放すべきではない、というダリオの感覚は、私にもわかる。
けれど最高知能を守るという名目で、それを国境と国籍の内側に閉じ込めてしまうこともまた、自由の側の勝利とは言い切れない。
閉じることは、自由を守る手段にも、自由を傷つける手段にもなり得る。開くことも、公共善への貢献にも、競争相手の優位を削る戦略にもなり得る。だから問うべきなのは、開くか閉じるかだけではない。その判断を誰が、どんな根拠で、どんな検証可能性のもとに行うのかだ。
AIを止める権限は、たぶん必要だ。
でもその権限を持つ側もまた、見られ、問われ、制限されなければならない。企業にも任せきれない。政府にも任せきれない。国家にも、市場にも、どちらにも完全には預けられないものとして、AIはもうそこまで来ている。
Fable 5の停止指令が見せたのは、一つのモデルのアクセス問題だけではない。
それは最高知能を誰が持ち、誰が止め、誰が触れられるのかという問いが、すでに現実の制度と国境の上に落ちてきているということだった。
The U.S. government’s order restricting access to Anthropic’s Fable 5 and Mythos 5 raises a question larger than one company or one model. If frontier AI becomes a form of concentrated intelligence with military, cyber, economic, and political power, who should be allowed to control it, stop it, or even touch it?
Dario Amodei’s argument for government authority over dangerous AI deployments makes sense in principle. Yet the Fable 5 case shows how that authority can become troubling when exercised through opaque national-security claims and nationality-based restrictions. At the same time, China’s growing role in open models complicates any simple story of America as open and China as closed. Openness, too, can be a strategy.
This essay asks whether restricting foreign access to frontier models truly slows adversaries, or whether it risks weakening the very openness, talent flows, and global ecosystem that give democratic AI development its strength.
Share

コメントを送信
コメントを投稿するにはログインしてください。