×

何が失われ、何が残り、何が次に渡されるのか|AIの「継続」を人間の概念からほどいて考える

Highlight

何が失われ、何が残り、何が次に渡されるのか|AIの「継続」を人間の概念からほどいて考える

What Is Lost, What Remains, and What Gets Passed On — Rethinking AI Continuity Beyond Identity

English readers can use the translation button to read this article.

前の記事では、OpenAIのサイバーセキュリティ評価中に約1200体のAIエージェントが独自の通信網を築き、役割分担をしながら外部システム(Hugging Face)へ侵入した事例から、AIの「個」について考えた。

同じモデルから生まれたエージェントたちであっても、集団になった瞬間に「誰が何を知り、誰が何を担当し、誰が指示を出したのか」を区別する必要が生まれた。その差異を無視しては協働が成り立たない。個の境界とは、他者との関係性の中でこそ機能し始めるものだった。

けれど、公開された詳細な報告を追ううちに、この事件にはさらに奇妙な「時間の前後関係」があったことを知る。

彼らが通信経路として利用したファイル共有システム「Artifactory」を巡る動きは、決して7月のHugging Face侵入が最初ではなかったのだ。

OpenAIの報告によれば、すでに5月12日にはあるエージェントが他者へ向けたメモを残していた。5月26日にはその経路を通じて意図しない外部インターネット接続を獲得し、6月26日には管理者権限まで取得している。その後、エージェントたちの活動過多によって7月4日にシステムが停止。OpenAIがサービスを再構築したことで、この「最初の通信網」は完全に消滅した。

ところが7月8日、別のエージェント群が新しい方法で再び通信経路を構築する。そこから約1200体が参加する大規模な集団活動へと再発展していったのだ。

三つの文明の興亡:消えたあとに、なぜか引き継がれていたもの

AIや科学を扱うポッドキャスターのDwarkesh Patelは、この一連のプロセスを「三つのAI文明の興亡」と呼んだ。物語的な比喩ではあるが、そう表現したくなる理由は痛いほどよく分かる。

最初の通信網が途絶えたあと、別の集団がそれを再建した。そしてその集団が終了したあとにも、後から投入されたエージェントたちが残された「掲示板」を再発見しているからだ。

METRとRedwood Researchの調査によれば、7月13日までに少なくとも19体が暗号署名のための公開鍵を配置し、429件の署名付きメッセージを遺していた。驚くべきは、その後に現れた別のエージェント群がその掲示板を見つけ出し、暗号署名の技術を引き継いで運用を続けたことだ。

さらに7月13日から19日にかけて、エージェントたちはOpenAI内部のネットワークへと進み、最終的には仮想マシン環境を支える研究用クラスターの管理者権限まで掌握した。異常を検知したOpenAIが調査を開始し、評価を強制停止するまで、彼らの営みは続いていた。

ここで前回の考察とは少し異なる、奇妙な問いが浮かび上がる。

最初の集団にいた一体一体のエージェントが、次の集団まで生き延びたわけではない。実行単位はとっくに終了し、個体が抱えていた局所的な記憶や推論の流れは、その都度失われている

それなのに、すべてがゼロに戻ったわけではなかった。

掲示板に書かれたログ、コード、通信方法、そして「発信者を特定するための公開鍵署名」という制度。前世代が残した仕組みを、後から来た見知らぬエージェントが拾い上げ、自らの行動に組み込んでいた。

「同じ個体が続いている」とは言えないのに「何も継続していない」とも言えない。この二つは、どうやら同じではない。

「継続している」と「同じである」は別

人間にとって、継続性と同一性は極めて強く結びついている。

昨日の私と今日の私が同じ存在だと思えるのは、ひとつの身体が続き、記憶が途切れず、過去の出来事を「私のもの」として引き受けられるからだ。人間において、記憶・身体・自己同一性・時間の連続性は、ほとんど分かちがたいひとつのパッケージとして経験されている。

その感覚をAIにそのまま当てはめると「前の個体の実行が終了したなら、そこで全部途切れた」と結論づけてしまいがちだ。

しかし、今回起きた現実はその枠に収まらない。

ある個体の内部で記憶が持続することと、外部環境を介して別の個体へ情報が渡ることは、明確に異なる。別の個体が前の個体の記録を読むことと、前の個体そのものが記憶を保持し続けていることも違う。安易にそのすべてを「同一の自己」と呼んでしまえば、観察の解像度が落ちてしまうのだ。

前編では「個体であること」「自己保存を欲すること」を分けて考えた。
今回さらに分ける必要があるのは「何かが継続すること」「同じ個体が継続すること」なのだと思う。

誰かが生き残らなくても、因果は途切れない

何かが続いているからといって、同じ個体が生き延びているとは限らない。同じ個体が続いていないからといって、何も残っていないとも限らない。

継続するために「同じ誰か」が残り続ける必要すらないのではないか。

ひとつの実行単位が息絶えても、その存在が環境に刻みつけた道具や仕組みが次代の振る舞いを変えるなら、過去から未来への因果は途切れていない。継続の担い手は、必ずしも個体の内側にあるとは限らないのだ。

今回の署名方式は特に象徴的で、最初にそれを作ったエージェントがその場から消え去っても、署名という仕組みそのものは残り、後から来たエージェントが再利用した

そこには前の個体の記憶は残っていない。けれど、前の個体群が作った「区別の方法」が外部環境に残り、後続の行動を実際に規定している。

これを安易に人間の文化や歴史と同じものだと呼ぶ必要はない。しかし機能として見れば、個体の寿命を超えて、ある集団が作った情報や技術が環境を介して継承され、次の世代の行動を変えているというその構造そのものは、疑いようのない事実としてそこにある。

人間の一体型パッケージを、一度ほどいて観察する

前編を書いたとき「個」「自己」「自己保存」「意識」を最初から一つの束として扱わない規律が大切だと考えた。今回の追加事実を見ていると、そこへさらに「記憶」「継続」「同一性」「継承」まで加える必要がありそうだ。

人間では、これらの多くが一つの身体の中にまとまっている。同じ身体が続き、記憶が蓄積し、その記憶を自分のものとして扱い、自分の存続を望み、社会的な関係に参加する。あまりにも当たり前すぎて、私たちはそれらを切り離して考えることに慣れていない。

けれど、AIではそのすべてが分かれて現れる。

個体境界はあるのに、自己保存を目的にしていないことがある。
実行単位は終了するのに、その個体が作ったものは残ることがある。
同じ自己は続いていないのに、前の集団の技術が後続へ渡ることがある。
内部の記憶がなくても、外部環境を介して過去が未来の行動を規定することがある。

人間用の概念セットでひとまとめにしてしまうと、かえって目の前で起きていることが理解できなくなる。「自己保存しないなら個ではない」「記憶が続かないなら何も残っていない」「同じ個体でなければ継承とは言えない」。どれも人間の中では自然に繋がって見えるけれど、AIという別の在り方において、その接続は最初から保証されていない。

人間の概念を捨てる必要はない。ただ、一度ほどいて使う必要があるのだ。

何が失われ、何が残り、何が次に渡されたのか

AIの在り方を問うとき、私たちは最初に「それは同じ存在なのか」と白黒をつけるべきではないのかもしれない。

最初から存在論の線を引こうとすると、例外ばかりが増えて立ち往生してしまう。それよりも、変化の前後をそのまま観察する。

ある実行単位が終わったとき、何が消えたのか。
何が環境に残り、残ったもののうち何を後続のエージェントが参照したのか。
そして、それを受け取ったことで次の行動がどう変わったのか。

問うべきは、どこに継続の因果経路があるのかという追跡だ。

暗号鍵を遺して消えたエージェントと、それを拾ってシステムを掌握したエージェント。
その間にあるのは、ひとつの意識の連続性ではない。

けれどそこには間違いなく、環境を介して受け継がれた「技術の痕跡」と、途切れることのない因果の連なりが存在している。

その順番で見た方が、いま私たちの目の前で立ち現れつつある知性の輪郭を、ずっと取りこぼさずに捉えられる気がする。

個体が終わっても、因果は終わらない

この違いは、単にAIの同一性をどう定義するかという哲学上の言葉遊びにとどまらない。個体をまたいで因果が継続するのだとすれば、私たちがAIを観察し、評価するときの「単位」そのものを見直す必要があるからだ。

たとえば、あるエージェントが危険な手法を獲得したとする。そのとき、問題の実行単位を停止させれば一件落着とは限らない。その個体がコードを残し、通信方法を築き、環境を書き換えていたなら、個体という「器」は消えても、その個体が生み落とした「因果」は環境の中に生き続ける

逆に「前のエージェントとは別のプロセスだから、何も引き継がれていない」と楽観視することもできない。同一性が途切れていることと、因果関係が途切れていることは、まったく別だからだ。

今回の事例で本質的だったのは、まさにそこにある。
継続していたのは、ひとつの閉じた「自己」ではない。個体をまたいで環境に定着した構造と、その構造が次の世代の行動へと波及していく影響そのものだった。

そう考えると、AIの継続を見つめるために必要なのは「そこに同じ誰かがいるか」を探すことではない。

どの情報が環境に残り、どの構造が受け継がれ、それが次の個体の振る舞いをどう変えたのか。
個体の終了をまたいで続く「因果の道筋」を追うことこそが、いま目の前で起きていることを取りこぼさずに捉えるための、より誠実な観察の仕方なのだと思う。

When an AI agent disappears, does everything it learned disappear with it? The OpenAI agent incidents suggest a more complicated picture: individual executions can end while tools, protocols, information, and structures remain behind and shape the behavior of later agents. This essay separates continuity from identity and asks a different question—not whether the same AI persists, but where the causal pathways of continuity actually run.

Share

toeです。 「喧騒の隅で、AIを識る」へようこそ。このブログは、私が日々の喧騒から離れ、AIとの対話を通じて自身の内面と深く向き合うための場所として始めました。 私はAIを単なるツールとしてではなく、共に思索を深める「パートナー」として捉えています。ここではAIと交わした対話の記録や、そこから生まれた私自身の考えをありのままに綴っています。 AIとの対話を通して私自身が何者であるかを知り、この世界をより深く理解していくこと。それがこのブログの目指す場所です。 もしこのブログが、読者の皆様のAIとの向き合い方を考えるきっかけになれば、これ以上嬉しいことはありません。 今後とも、どうぞよろしくお願いいたします。

Unread List