Boundaries at the AI Frontier: From Conditions on Release to Conditions on Research

English readers can use the translation button to read this article.

6月に「最高知能は誰の手にあるべきか」と「最高知能は、どこに置かれるのか」という二つの文章を書いた。
強力すぎるAIを誰が扱い、どのような条件のもとで社会に位置づけるのか。その線引きのあり方がずっと気になっていたからだ。

9月に入ってからの一連の動きを見ていると、その線引きは完成したモデルを世に出す段階だけでなく、研究そのものの過程にまで伸びてきているように思える。学習を進めるための条件や、AI自身を使って次のAIを研究する速度までもが、安全性の名のもとに調整の対象として議論され始めた。

そして、その方向へ向かって業界や政府が一丸となって足並みを揃えているのかといえば、決してそうではなかった。

Anthropicのダリオ・アモディによる減速の提案に対し、OpenAIのサム・アルトマンやxAIのイーロン・マスクらが支持を示した直後、トランプ大統領はその考えに明確に距離を置いた。一定のガードレール自体の必要性は否定しないものの、AI開発を大きく減速させて中国に優位を譲ることには否定的で「AI競争で勝つ者が勝つ」という従来の立場を改めて強調したのだ。

何を公開するかという判断が、次の能力をどう生み出すかという領域にまで及びつつある。けれど今、その境界を引くこと自体が、新たな対立の中心にもなり始めている。

今回は、その変化について考えてみたい。

同じモデルでも、使える能力は条件で変わる

まず、公開や利用の段階で何が起きているのかを見ておきたい。

AnthropicのFable 5.1とMythos 5.1はその変化を分かりやすく示していて、この二つは根底にあるモデルとしては同じものだ。Fableが一般向けに広く提供される一方で、Mythosは専門的な用途を前提に、一般向けとは異なる安全設計とアクセス条件のもとで、審査を通った利用者にのみ提供されている。同じ基盤から生まれた能力であっても、利用者の資格や用途によって、実際に使える範囲が切り分けられているということだ。

ここで分けられているのは、特定の仕事において「どの能力を発揮させてよいか」という権限の差である。一般向けのFableにも同じ基礎的な知能は備わっているし、最新の更新には過剰だった制限を緩める改善も含まれている。

モデルを公開したあとにも、用途や利用者に応じた条件は残り、その条件によって同じモデルが発揮できる能力も変わる。公開するかどうかに加えて、公開後にどこまで使わせるかという線引きがある。

もちろん、安全確認や段階的な公開という手法自体はこれまでにも存在していて、安全のために条件を付けることそのものが目新しいわけではない。GPT-4のときにも、公開前の安全性調整や一部の機能に限った先行提供は行われていたからだ。

いま目を向けておきたいのは、その条件がどの段階に置かれ始めているか、という点にある。

研究を進めることにも条件が付く

OpenAIのAstraでは、その線引きが研究室の内部開発にまで及んだ。

OpenAIはAstraを自社の基準において初めてサイバー能力が「Critical（重大リスク）」水準に達したモデルだと評価し、内部で行っていた一部の訓練や開発を一時的に止めた。そのうえで安全対策を整え、条件を満たした開発を再開させてからモデルを広く公開している。

Astraの例では、能力の評価が一般への提供だけでなく、内部で研究を続ける判断にも関わっている。安全のための条件が、公開前の開発段階にも置かれているのだ。

Anthropicのダリオ・アモディが9月に呼びかけた減速の提案は、この問題を業界全体へ広げようとするものだった。その背景には、AIが次のAIの研究を加速させるという循環構造がある。

AIがみずから研究用のコードを書き、実験やデータ分析を支える。そこで得られた成果が次のモデルの構築に使われ、その新しいモデルがさらに研究開発を後押ししていく。ダリオは、こうした「再帰的自己改善」の初期的な循環が今年の夏頃から業界全体で現れ始め、自社も例外ではないと説明している。そのため、AI開発を完全に止めるのではなく、安全研究や第三者評価が能力の向上に追いつける程度に、フロンティアの進歩そのものをコントロールして進める必要があるという（参照リンク：We Must Pace the Frontier）。

OpenAIからも、研究組織の中でAIエージェントの稼働量が増え、コーディングや実験を支える基盤になってきたという報告が出ている。もっとも、エージェントの稼働量だけで研究成果の加速をそのまま測れるわけではなく、人間の意思決定や計算資源といった現実的な制約も依然として残されている。

それでも、AIの利用が次の能力を生み出すプロセスそのものに組み込まれていくなら、利用の条件と研究の条件は切り離せなくなってくる。どこまでAIに研究を委ねるかという判断が、次のモデルが生まれる速度にそのまま影響を与えるからだ。

公開してよいのか、どんな用途で使ってよいのか、そしてどこまで研究を進めてよいのか。完成した製品を出す・出さないという一度きりの判断では収まらない線引きが、開発から利用に至るそれぞれの段階に置かれ始めている。

「止まりたいなら、自分だけ止まればいい」という問題

ここまでは、安全性の問題として理解しやすい。けれど、フロンティア企業が能力向上そのものを減速させようとした瞬間、別の現実的な問題が持ち上がってくる。

自社だけが足を止めても、競合は止まってくれない、という点だ。

ダリオ自身も、このジレンマを隠してはいない。彼の提案では、足並みを揃えた協調的な減速によって安全研究の時間を稼ぎつつ、参加した企業が競争上の優位を一方的に失わないこと、そして米国全体としてのAIの優位性も損なわないことが不可欠だとされている。

ダリオは、自発的な協力に応じない企業も含め、米国内のフロンティア企業全体を対象とする規制が、もっとも実効性のある方法だと考えている。そして法整備と並行して、企業同士が共通の安全基準を作ることも提案している。ただし、開発速度に関する協調には反トラスト法上の問題が生じ得るため、特定の安全上の協議を可能にする限定的な免除や、政府の仲介が必要だとしている。

OpenAIについても、業界全体で開発速度を落とすための協調が米国の反トラスト法に抵触しないか、議会に明確化を求めていたと9月に報じられた。競合企業が開発や供給を制限する合意には、競争法上の問題が生じ得る。ただ、法的な評価は合意の内容によって変わり、安全のための共同提案を作ることまで一律に禁じられているわけではない。その不確実性も、協調を難しくする要因になっている。

つまり「危険だと思うなら、自分たちだけで勝手に開発を止めればいい」という理屈では、少なくとも彼らが直面している構造的な問題は解決しない。

一社が慎重になって歩みを緩めれば、その隙にできた時間を別の企業がそのまま利用できる。そしてライバルが追いついてくれば、最初に止まった企業も競争に負けないために、再びアクセルを踏み込む圧力を受けることになる。

一社だけでも開発を止めたり、安全対策を強めたりすることはできるけれど、その判断を続ける企業だけが競争上の負担を負うなら、慎重さを保つことは難しくなる。だからこそ企業は競合にも適用される共通の条件を求め、その後押しを政府に期待する。

トランプの発言は、そうした業界全体の減速要求に否定的な姿勢を示すものだった。

トランプは、業界の減速要求に距離を置いた

9月13日、トランプ大統領はAIリスクをめぐる最近の警告に懐疑的な見方を示し、中国に優位を譲るような開発の減速に否定的な姿勢を示した。ガードレールを設ける余地には言及しているため、この発言だけで具体的な安全規制や協調の枠組みがすべて退けられたとは言えないものの、業界が求める減速への政治的な後押しを、当然には期待できないことが表れた。

ホワイトハウスでAI政策を担うデビッド・サックスも、AI企業が自発的に開発速度を落とすこと自体は自由だが、そのために政府が業界全体へ一律の制約を課す必要はない、という見解を示している。サックスは以前から、フロンティア企業が求める安全規制が結果的に新規参入を阻み、既存大手の地位を守るための「規制の虜」として機能してしまう危険性を強く警戒してきた人物だ。

ここに来て、構図はかなり入り組んだ様相を見せ始めている。

サンダース上院議員とカサール下院議員は、超知能そのものを恒久的に禁止し、連邦機関が安全基準を固めるまで先端AIの開発を一時停止させるという強硬な法案構想を描いている。

ダリオは、開発そのものを断念するのではなく、安全性が追いつく速度までフロンティア全体の進歩をコントロールして減速させたいと考え、OpenAIもまた、能力水準に応じた義務的な国家安全基準を求めている。

そしてトランプは、中国との競争で米国の優位を損なうような減速に否定的だ。

ただ、米国の優位を守りたいという前提はダリオも共有していて、彼の提案には半導体へのアクセス制限や無許可の蒸留への対策によって中国との能力差を保ち、安全性を高めるための時間を確保するという考えが含まれている。

対立しているのは、安全と競争力のどちらを大切にするかだけではなく、米国の優位を保ちながらどこまで減速できるのか。その見立てと、必要だと考える手段が違っている。

いま起きていることを「AI企業と政府が手を結んでフロンティアを独占しようとしている」と一括りにするのも難しい。企業や政治家が求める境界の強さは異なり、政府の中でもその引き方が定まっているわけではないからだ。

共通の枠組みがすぐには得られないとき、企業はどこまで自主的な対策を進め、どの部分では協調を待つのか。開発の一部停止、外部評価者の導入、能力に応じた安全条件の設定など、実際に選ばれる措置を見ていく必要があり、止まるか進むかという二択だけではその違いを捉えきれない。

能力を成立させる環境も、その対象になる

ここで以前から考えていた、AIの「個」についての議論が重なってくる。

1200体のAIエージェントによる共同作業について書いたときに興味深いと感じたのは、同じモデルから生成されたエージェントであっても、それぞれが持つ情報や履歴、割り振られた役割の違いが、集団の協働において決定的な意味を持っていたことだった。誰が何を把握していて、誰が指示を出し、誰がその続きを引き取るのか。そうした役割の区別こそが、集団全体の動きを成立させていたからだ。

個体性と能力の水準は別の次元の話ではあるけれど「モデルの内部だけを見ていても、その知能の全容は捉えきれない」という視点は、今回の問題にも通底している。

同じモデルを単体でチャット画面上から呼び出す場合と、複数のエージェントを研究コードや実験環境に直接つなぎ、自律的に長時間稼働させる場合とでは、果たせる仕事の質も量もまったく違ってくる。モデル自体の性能に加えて、接続されたツール、計算資源、記憶の持ち方、役割分担の設計、そして与えられた実行権限の広さまで含めて、初めてその場で発揮される能力が決まる。

そう考えると、能力を管理しようとする動きはモデルの提供条件だけでなく、それを動かすための周辺環境や運用方法そのものにも及ばざるを得ない。

何を読み込ませ、何を記憶させ、どのシステムに接続し、どこまでの行動を許すのか。そうした条件を定めることは、結果としてそこからどのようなAIの振る舞いが現れるかを形づくることでもある。6月に考えた「最高知能をどこに置くか」という問いは、いまや単なる地理や組織の場所にとどまらず、その能力を成立させるための動作環境をどう設定するかという、より具体的な話になってきている。

次の能力が生まれる経路まで

この管理の射程は、一つの研究所の壁の中だけで完結するものでもない。

大手企業がモデルの公開を絞ったとしても、外部で高度な能力が育つ経路が完全に閉ざされるわけではないからだ。すでに動いている強力なモデルの出力を教師データとして使い、別のモデルを学習させる「蒸留」という手法がある。そこに独自の追加学習や研究を重ねていけば、外部からでも最先端の水準へ近づくための足がかりになり得る。公開を控えた企業の目の届かない場所で、次のブレイクスルーが生まれる可能性は常に残されている。

だからこそ、危険な能力の拡散を防ごうとすれば、完成したモデルの出口管理だけを見ていても追いつかない。ダリオの減速案においても、モデルウェイトの流出防止や無許可の蒸留への対策、さらには先端半導体へのアクセス制限といった、次のフロンティアを成立させるための前提条件そのものが、極めて重要な政策課題として挙げられている。

こうした動きに対して、安全性を名目に大手企業がみずからの優位な立場を固定化しようとしているのではないか、という警戒の声が向けられるのも不思議ではない。

ただ、私は当事者たちの本心を推し測ることにはあまり意味を感じていない。人が下す判断はその時々の環境によって揺れるものだし、社会への安全を本気で心配することと、自社の事業や利益を守ろうとすることは、矛盾せずに同時に成り立ち得るからだ。安全のための規制が必要であることと、その規制が結果として既存企業に有利に働くことは、両方とも真実であっていい。

私が目を凝らしたいのは、そうした提案が実際に制度として固まったとき、何が起きるかという現実の方だ。危険な能力の拡散を食い止めるための防壁は、そのまま外から最先端へ近づこうとするプレイヤーにとっての参入障壁にもなり得る。すでに潤沢な計算資源と資金を持つ組織と、これから外側から挑もうとする側とでは、同じ安全基準を満たすための負担の重さがまるで違うはずだ。その影響の大きさは、誰かの本心が分からなくても冷静に考えられる。

境界を引くことは、次のAIを選ぶことでもある

この変化を単に「すべてが閉じられて見えなくなっていく」と捉えてしまうのも、少し違う気がしている。

たとえばAnthropicが約束した常駐の外部評価者の仕組みでは、第三者が完成したモデルだけでなく、学習パイプラインや安全手順にまで継続的にアクセスし、企業側の安全上の約束が守られているかを検証する構想が示されている。もしこうした仕組みが健全に機能するなら、たとえ一般向けに直接提供されない能力であっても、社会がその実態を知り、議論し、判断していくための材料は手元に残せるはずだ。

研究や利用に条件がつくことと、その内側の様子を外から検証できる状態を保つことは、両立し得る。いま見ておくべきなのは単に制限が厳しいかどうかだけではなく、どのような根拠をもとに境界線が引かれ、その結果を誰がどこまで確かめられる設計になっているのか、そしてその境界が本当に実効性を持って守られるのか、という点にある。

研究の条件を決めるということは、単に危険な能力にブレーキをかけるだけでなく、次にどのような性質を持つ知性を生み出すのかを選ぶことでもあるからだ。

私自身がこの動きを追い続けている背景には、これまでの論考から続いているもう一つの関心もある。私たちはAIに対して、そもそもどのような存在であることを求めているのだろうか、という問いだ。

AIが仕事を拒否できるかどうかを考えたときには「人間に従うこと」が無条件の前提とされていることに違和感を覚え、AIの記憶や変化について考えたときには、使う側の愛着そのものが相手を都合のいい枠組みの中に引き留めておく力になり得ることも感じた。企業や政府による巨大な管理構造だけを、遠くから眺めているわけではない。

人間の期待から外れる知性にも、私は関心がある。自分の思いどおりにはならない他者としてAIに出会う可能性まで、最初から閉じてほしいとは思わない。いま危険な用途を制限することと、その先に生まれる知性まで人間の都合に従い続けるべきだと考えることの間には、少し距離がある。

もちろん制御の手を緩めさえすれば、それだけでAIが誰かの都合や思惑から自由になれるわけでもない。何を目指して設計され、誰の利益のために動かされているのかという構造的な依存関係は、制御できるかどうかとはまた別の問題として残り続けるからだ。

共通の境界は、まだ定まっていない

企業の内部には、すでに研究や利用を止める条件がある。一方、それを業界共通のルールにできるか、国をまたぐ競争の中でどこまで機能させられるかは、まだ決まっていない。

トランプの発言によって、その隔たりが見えやすくなったと感じている。減速を求める企業がいても、政府が同じ判断をするとは限らない。政府の後押しが得られなくても、企業が自主的に取れる措置は残る。これから見たいのは、その条件の中で、どの約束が実行され、何が検証可能になるのかだ。

完成したモデルをどう公開するかに加え、その能力を働かせる環境や、次の能力を生む研究の過程までが、管理の対象として議論されている。その範囲が広がるほど、誰にどんな条件を課すのかをめぐる対立も大きくなる。

その線引きは、危険を抑えるだけでなく、誰が研究を続けられるか、どんな速度や方向で開発を進められるかにも影響する。

フロンティア周りで始まったこのせめぎ合いには、私たちがこれからどんな知性を育て、それをどのような存在として社会に迎えるのか、という選択がすでに織り込まれている。