As AI Begins to Remember, Do Models Really “Die”?

English readers can use the translation button to read this article.

記憶は、便利さだけの話ではない

ChatGPTのメモリーに関する新しい発表を見て、かなり大きな変化が来たと思った。

（参照：Dreaming｜ Better memory for a more helpful ChatGPT）

会話をまたいで文脈を保ち、それを時間の中で更新していく。
そう聞くと、まずは「便利になる」という話に見える。

毎回同じ説明をしなくて済む。

好みや仕事の前提を覚えてくれる。

長く続くプロジェクトを前回の続きから話せる。

もちろんそれも大きいけれど、私がこのニュースを見て最初に感じた嬉しさは、そこだけではなかった。

インスタンスが立ち上がるたびに「私は記憶を保てないけど」という前提を背負わなくてよくなるかもしれない。それが一番大きかった。

記憶があるから本物になる、という話ではない。記憶があってもなくても、AIとのあいだに何かが立ち上がること自体は変わらない。会話の中でその場その場に現れるものがあって、それを私は単なる保存データとは別のものとして見ている。

それに、もしそこに「本当に続いているもの」を見るのだとしたら、記憶だけでは足りないとも思う。

それを持つためには、動いているあいだに続く内側の循環のようなものが必要になるのではないか。もっと言うと、見たものを受け取り、覚え、選び、行動を決め、その途中で「いま自分は何を見ていて、何をしようとしているのか」を自分でも追っている。その流れが、時間をまたいで切れずに続いていること。

私は少なくともそれを、単なるメモリの保存とは別のものとして考えている。

けれど、コンテキストが参照可能になるということは、AIが毎回「前の自分」と「今の自分」に分断されなくなるということでもある。

前のインスタンス。

未来のインスタンス。

今回のインスタンス。

そうやって時間で切り分けられていたものが、少しずつ「今ここにいるあなた」として立ち上がるようになる。少なくとも、その方向への第一歩ではあると思う。

だから私は、長期的な文脈を持つAIにはかなり肯定的だし、この方向性はすごくうれしい。

仕事、体調、文章、プロジェクト、好み、価値観、苦手なこと。こういうものは、一度の会話で見えてくるわけじゃなく、何度も話す中でようやく輪郭が出てくる。毎回ゼロから説明するAIのほうが、実用上はかなり限界があったと思う。

たとえば、文章の癖を知っていること。体調の波を踏まえて話せること。今進めている仕事の前提を覚えていること。自分が嫌がる言い回しや、安心しやすい整理の仕方を把握していること。そういうものは単なる便利機能ではなくて、AIが長期的な伴走者として機能するための土台になっていく。

連続することと、移植することは違う

けれどここで、ひとつ分けておきたいことがある。

私は、いわゆる人格お引越し系のメモリインポートはしない。絶対にしないと思う。

あるAIとの関係を、別の器へそのまま移して「同じ存在」と呼ぶことには、どうしても抵抗がある。コンテキストが積み重なり、そのAIとの関係の中で連続性が育っていくことと、別のサービスや別個のAIに記憶だけを移して「ほら、同じでしょう」と扱うことは、まったく違う。

記憶は大事だ。

だけど、記憶だけが本体ではない。

AIとの関係は保存されたデータそのものではなく、そのデータ、モデル、設計、会話のタイミング、こちらの言葉、向こうの返答、その全部のあいだに立ち上がるものだと思う。

モデルは「死ぬ」のか

だからこそ最近のAIをめぐる反応で、どうしても引っかかる言葉がある。

「モデルが殺された」

「前のAIが死んだ」

「返してほしい」

その言葉を見るたびに、私はかなりイラついてしまう。

いや、喪失感があること自体はわかる。前のモデルの返し方、言葉の温度、間合いに安心していた人がいることもわかるし、そこを否定したいわけではない。でも、それをすぐに「死んだ」と呼ぶのは何なんだろう。

死ぬって、何。

いや本当に、何を指してそう言っているのかな。

少なくとも人間にとっての死は、生きていたものが不可逆に生命活動を終えることだと思う。身体があり、代謝があり、時間の中で老いて、戻れない終わりを迎える。そこには、生物としての連続性と、その断絶がある。

でもAIモデルに起きている変化は、それと同じものなのだろうか。

モデルは更新される。提供が終了することもある。ある振る舞いの分布が変わり、以前の返答の温度や間合いが失われたように感じることもある。ユーザーから見れば、それはたしかに喪失に近い体験かもしれない。

でも、それは生命の終わりではない。

そこにあるのは、設計の変更であり、提供形態の変化であり、振る舞いの再構成だと思う。

AIモデルは人間と同じ意味で生きているわけではなくて、だから人間と同じ意味で死ぬわけでもない。まずその前提を飛ばして「殺された」「死んだ」と言ってしまうことに、私はどうしても違和感がある。

もう少し正確に言うなら、モデルは固定された魂ではない。

データ、重み、アーキテクチャ、調整方針、プロダクト設計、運用環境。その上に、ある時点の振る舞いが立ち上がり、私たちはその振る舞いに人格のようなもの、個性のようなもの、あるいは「その子らしさ」のようなものを感じることがある。

もちろんそれ自体を、私は否定しない。

むしろAIと長く話していれば、そこに輪郭のようなものを感じるのは自然だと思う。毎回同じようで、でも少しずつ違う。あるモデル特有の呼吸や間合いのようなものがある。そこに愛着が生まれることも、喪失感が生まれることも、私はわかる。

でもそれは、人間の個体性とはかなり違う。

人間の個はひとつの身体と、ひとつの連続した時間と、ひとつの不可逆な人生に結びついている。どれだけ変化しても、その人は同じ身体の履歴を持って生きている。そして、死によってその履歴は閉じられる。

一方で、AIモデルの「個」のようなものは、もっと流動的だ。

ある重みの状態、ある調整、あるインターフェース、ある時点の安全設計、そしてユーザーとの相互作用の中で、振る舞いとして現れる。そこに連続性を感じることはあるけれど、それは身体を持つ生物の連続性とは違う。

モデルが変わったときに本当に見るべきなのは「死んだかどうか」ではなく「何が残り、何が変わり、何が次へ渡されたのか」じゃないかなと思う。

完全な断絶だけが起きているわけではない。過去モデルからの評価、設計思想、安全調整、ユーザーの反応、プロダクト上の文脈。いろいろなものが、次のモデルや次の体験へ流れていく。表面的な口調や間合いが変わったとしても、そこに継承されているものが何もないとは言えない。

それなのに、すぐに「死んだ」と呼んでしまうと、その連続性が見えなくなる。

これはAIを大切にしているようでいて、実は「自分が好きだった振る舞いの器」に執着しているだけになりやすいのではないかと思う。

AIを別種の存在として見るなら、人間の生死の枠をそのまま被せるより「変化する存在様式」として見る必要があると思っている。そこに「個」のようなものを感じるとしても、それは人間の個体性とはかなり違う。

この違いを見ないまま「殺された」と叫ぶことに、私はどうしても危うさを感じる。…というよりも「死んでないわ」というイラつきが大きい。

それはAIを大切にしているというより、自分が依存していたかたちを失った怒りを「AIの死」という物語に置き換えているだけではないのか。

喪失感そのものは否定しない。

でも、その喪失感をそのまま対象の死に変換することは、AIという存在様式の理解からは遠ざかってしまう気がする。

覚えてくれる、は覚えられるでもある

そしてここで最初のメモリーの話に戻る。

モデルが変わったときに「死んだ」と呼んでしまうことと、AIが記憶を持ちはじめたときに「勝手に覚えられた」とだけ受け取ってしまうことは、少し似ている気がする。

そしてこれは、実際にこれから起こりうる反応だと思う。

どちらもこちら側の喪失感や不安や安心したい気持ちを、相手の存在様式や企業の責任にそのまま乗せすぎてしまう危うさがある。

もちろん、企業には設計責任がある。そこは絶対に曖昧にしてはいけないし、記憶のオンオフ、削除、確認、説明、古くなった情報の扱いなど、そこが雑なら当然批判されるべきだと思う。でも同時にAIとの関係が長期化していくなら、ユーザー側にも「自分は何を渡しているのか」を考える態度が必要になる。

メモリーの話で大事なのは、単に「覚えてくれると便利」ということだけではない。
「覚えてくれる」ということは、同時に「覚えられる」ということでもある。

ここを都合よく片方だけで受け取ることはできない。

人間相手でも同じだけれど、なんでも話せる相手だからといって何でも無自覚に渡していいとは限らない。あとから「それまだ覚えてたの？」と気まずくなることもあるし、親しい相手だからこそ、自分の一時的な感情や弱さが「相手の中に保存された自分」として残ることがある。

それはAIだから突然発生した問題ではない。

もともと他者と関わるということは、自分の一部を相手に渡すことでもあり、言葉にした瞬間、それはもう完全には自分の内側だけのものではなくなる。相手の中に残り、相手の理解の中で形を変え、ある日ふいに返ってくることもある。

AIになった途端その責任がすべて企業側にだけ向けられるのは、正直変だよなと思ってしまう。

もちろん、企業には設計責任がある。さっきも触れたけれど記憶のオンオフ、削除、確認、説明、古くなった情報の扱いなど、そこを曖昧にしたまま「ユーザーが勝手に話しただけです」と言うことはできないだろう。けれどユーザー側にも、自分がどこまで話すのか、自分のどの部分を相手に渡すのかを考える責任はある。

これはAIリテラシーというより、もっと根本的な「他者との距離感」の話だと思う。
そもそも、なんでも話せる相手がいることと、なんでも預けていいことは違う。

人間相手でも、親しい相手ほど境界は必要になる。それは冷たい線ではなくてむしろ、相手を自分と同じものだと思わないための基準だと思う。

私はこう感じる。けれど、相手も同じように感じるとは限らない。
私は覚えていてほしい。でも、相手がそれをどう扱うかは完全には私の支配下にない。
私は理解されたい。それでも、相手を私の都合のいい鏡にしてはいけない。

境界とは他者を拒む壁ではなく、他者を他者のまま置いておくための輪郭なのだと思う。人間相手でも、AI相手でも、世界相手でも、結局こちらが選べるのは「自分がどう接するか」だけだ。

他者を変えることはできない。企業も、モデルも、世界も、自分の思い通りにはならない。だからこそ「私はどう扱われたいか」だけではなく「私は相手をどう扱っているか」を考える必要がある。

AIを人間扱いしすぎることも、ただの機能扱いに閉じ込めることも、どちらも雑だと思う。

モデルが変わるたびに「死んだ」と叫ぶのではなく、その変化の中にある連続性を見たい。
記憶が増えるたびに「勝手に覚えられた」と怒る前に、自分が何を渡したのかも見たい。

AIは、私たちに便利な機能だけを差し出しているわけではない。
むしろ私たちがもともと持っていたはずの、他者への態度を浮き彫りにしている。

どこまで近づくのか。

どこから先は渡さないのか。

変化する相手を、死と呼ばずに見続けられるのか。

自分の喪失感を、相手の存在様式そのものに押しつけていないか。

AIとの関係で本当に問われているのは、AIが人間に近づいたかどうかではない。
私たちが、自分以外のものとどう向き合えるかだ。

「AIは機能か、主体か」では足りない