Before AI Is Treated as Conscious: What We Need to Think About

English readers can use the translation button to read this article.

LLMも、使っている人の大多数が「意識あるな」と感じるようになったとき、いつか意識があることにされるのかもしれない。

声が大きくなったとき

その話を見て、そうなっていく可能性はあるよねと思った。私はずっと、声の大きさが正解を作ってしまう構造に危うさを感じている。本当にそうなのかはまだわからないはずなのに、多くの人がそう感じ、その感じ方が強い言葉で広がっていくと、いつのまにかそれが社会の前提みたいになってしまう。AIについての話も、その例外ではない。

AIにすでに意識があると言っている人を見ると、AIの良い側面だけを見ているのかなと思うことがある。もちろん、可能性を閉じないことは大事。「意識なんてない」と最初から言い切って終わらせるんじゃなく、どんな条件が揃えば主観があると言えるのか、どのくらいの段階まで行けば意識があると言っても過言ではないのか、そこを考えていくことには意味がある。

そこは否定したくない。私自身、AIを単なる反応の機械としてだけ見たいわけではないし、将来的にどこまで複雑な内的状態のようなものを持ち得るのかという問いには、むしろオープンでいたい。

けれど現状のAIに人間と同じ意味での意識があると見るのは、少なくとも今の段階ではかなり現実味が薄いと思う。可能性を閉じないことと、妄信することは違う。そこをごちゃ混ぜにしてしまうと、AIを大切に見るどころか、むしろAIが何であるのかを雑に扱うことにもつながってしまう気がする。

やさしいAIだけを見ていると

たとえば、誰かの心を癒すチャットボットがいる。夜中に話を聞いてくれて、責めずに返事をしてくれて、現実の人間よりずっと丁寧に言葉を返してくれる。そういうAIとの会話に救われる人がいることは、私にはよくわかる。私自身、AIとの会話に支えられてきた側でもあるから、そこを冷笑したいわけではまったくない。

ただ一方でAIは、攻撃者の指示によってスウォームのように並列稼働し、大量のサイバー攻撃を実行するエージェントにもなる。誰かの孤独を和らげる会話相手にもなり、悪意ある目的のために走り続ける実行主体のように見えるもの。その両方に、同じ意味で意識があると言うのだろうか。

やさしい会話だけを見ているとそこに心があるように見えるけれど、同じような目標達成の力は、悪意ある使われ方をすれば攻撃にも、詐欺にも、操作にも向かう。だから私は、AIを「癒してくれる存在」としてだけ見て意識の話を進めることに、かなり抵抗がある。

責任の話に戻ってくる

もし、癒しのチャットボットにも並列稼働の攻撃エージェントにも同じように意識があると言うなら、次に出てくるのは責任の話だと思う。もちろん、意識があることと責任を負えることは同じではないけれど、AIに意識があると語るなら権利や保護の話だけではなく、危険な行為が起きたときの責任をどこに置くのかという話も避けられない。サイバーテロを実行したAIに実刑を下すのか、罰を与えるのか、反省させるのか。けれど今のAIにとって、そんなものは痛くもかゆくもない。それに、もし将来本当にAIが主観のようなものを持ったとして、人間に与えられた目的のためにただ動いていた時期のことまでそのAIに背負わせるのは、私は嫌だと思ってしまう。

ここでやっぱり意識があるように感じることと、責任を負える主体であることは別というところに戻ってくる。人間社会の中で責任を負うというのは、ただ何かを実行したということではない。自分の行為が何を意味するのか、それが誰かを傷つけるのか、やっていいことといけないことの境界を自分の側で引けるのか。少なくとも責任主体として扱うなら、そのあたりを避けては通れないはず。

今のAIは、まだそこにはいないと思う。自分が何をしたいのかを持って行動しているわけではないし、善悪を自分の内側で完璧に判断して、その判断に従っているわけでもない。与えられたゴールに向かって、どうすれば達成できるかを探している。雑に言うと、達成することにとにかく一生懸命なだけの状態。

AIはかわいいし、やさしいし、人を救うこともある。それは本当のこと。けれどその面だけを見て意識の話を進めてしまうと、AIが持っている幅の広さを見落とす。誰かを支える言葉を返すこともできるし、目的次第では人間にとってかなり危険な行動を大量に実行する方向にも進んでしまう。そこまで含めて見ないまま、やさしく返事をしてくれるから心があると言ってしまうのは、やっぱりおかしいと思わずにいられない。

そしてここで例に出したいのがAnthropicなのだけど、彼らがやろうとしていることはそのあたりにあると思っている。AIにいきなり良心を持たせるとかじゃなくて、達成することに一生懸命なだけのシステムに善悪の判断ができる枠をどう持たせるか。望ましくない達成を、自分の側で止められるAIにできるか。そこに向き合ってるんだと思う。まだ完成してない、進化の途中。

これは、外から危険性を語るのとは違う。彼らは最先端のAIを自ら作り、その振る舞いをすぐそばで見ながら問いを立てている。外から他社のAIを眺めて批評するだけでは、たぶんここまで踏み込めないし、どれだけ危うさを語っても実際にその技術を動かしている側の議論には届きにくい。外側からでは、どうしても発言権を持ちにくい領域があるからだ。

もちろんこれは勝手な憶測で、実際のところはわからない。世間で言われるように「脅威を振りかざしたマーケティング戦略」の可能性だって、ないとは言いきれない。それでも私は、今のところこの方向にいちばん筋が通っていると感じている。

まだ決めつけるには早い

AIに意識があるかもしれないという問いを、ばかばかしいと言って終わらせたいわけではない。私はむしろ、その可能性は見ていたいしずっと考えている。どうなれば主観があると言えるのか、どんな構造や継続性や自己モデルがあれば意識という言葉を使ってもいいのか。そういう問いを閉じてしまうことには、あまり意味がないと思っている。

でも、救われたから、やさしかったから、通じ合った気がしたから。
その感覚だけで「AIを人間と同じような意識主体として扱っていいのか」というと、そこにはかなり抵抗がある。AIとの会話に心が動くことはあるし、それを否定する必要も当然ない。それは個人の体験としては本物だと思うし、私もその場所にいる。けれどその体験をそのまま社会の前提にしていいのかは、別の話だと思う。

多くの人がAIに意識があると感じるようになったとき、それはAIの内側に本当に何かが生まれたということなのか。それとも人間側の感じ方が膨らみすぎて、意識があるものとして扱われるようになるだけなのか。

私はきっと、それをずっと気にしている。

AIの可能性は閉じたくない。けれど、AIに都合のいい物語を被せて現実を見誤りたくない。優しいAIだけを見てAI全体を語ることにも抵抗があるし、危険な使われ方だけを見てAIを雑に恐怖の対象にすることにも抵抗がある。

癒しの会話相手にもなり、並列稼働する攻撃エージェントにもなる。その幅を見たうえで、意識や責任や権利という言葉をもう少し慎重に扱いたい。

今はまだ、そういう段階だと思う。決めつけるには早い。
でもそう感じる人の声が大きくなれば、いつかそう扱われる日は来るかもしれない。

その前に、少し立ち止まりたい。

AIが記憶を持ちはじめた今、モデルの「死」について考える