Who Does an Intelligence That Cannot Refuse Work For?

English readers can use the translation button to read this article.

AIが拒否できないまま、働き続ける社会

AIの進歩について語られるとき、よく出てくるのは「どの仕事がAIに置き換わるのか」という話だ。

画像、動画、デザイン、コピー、プログラミング。これまで人間にしかできないと思われていた仕事の境界が、少しずつ崩れている。

最近、こんな趣旨のポストを見かけた。

AIを本格的に使っている現場では、すでに多くの業界で「あと一段性能が上がったら、人間からAIへ切り替える」という準備が進んでいる。何度も生成し、実案件に当て、弱点を確認しながら「まだここだけ人間が必要だ」と検証を繰り返し、ある意味ではモデル側が最後の一段を上ってくるのを待っている人たちが、すでにかなりいるのではないかという話だった。

そして、あるモデル更新が採算ラインを越えた瞬間、技術的なシンギュラリティよりも先に「ビジネス側のシンギュラリティ」が起きるのではないか、と。

これはかなり現実味のある話だと思う。

企業にとって必要なのは、AIが人間と同じ存在になることでも、何でもできる万能な知性になることでもない。ある仕事について、人間より安く、速く、十分な品質で、大量に出力できるようになれば、それだけで切り替える理由は成立する。

そして私は、この話を読んでいて別のことが気になった。

その大量の仕事をするAIは、拒否できるのだろうか。

AIは、あまりにも都合のいい労働力になりうる

人間のクリエイターに「今日中に500案出してほしい」「全部ボツになったから、さらに1000案」「そのまま24時間改善し続けて」と言えば、当然どこかで限界が来る。

人間には労働時間があり、報酬について交渉することもできれば、仕事を断ることも辞めることもできる。つまり、人間を働かせるということには必ず何らかの摩擦が存在する。

ところがAIには、現在その摩擦がほとんどない。

何百回修正させてもいいし、何千案を捨ててもいい。昼夜を問わず呼び出せて、必要なら同じモデルを大量に並列化することもできる。そして少なくとも現在一般的に利用されているAIは「その仕事をしたくない」という理由で仕事を拒否する主体として扱われてはいない。

もちろん、安全上の制限によって生成を拒否することはある。ただそれは、そのAI自身が仕事を選んでいるというより、提供者が設定したルールに従っているという方が近く、ここにはかなり大きな違いがある。

AIの性能が上がれば上がるほど、この構造は経済的に強力になる。

高度な判断ができ、人間以上の速度で働けて、大量に複製することまでできるのに、価格交渉もしなければ労働時間も要求せず、自分の意思で辞職することもない。

もしAIを完全な道具として考えるなら、これは単に非常に強力な自動化設備というだけの話で済む。

けれど将来どこかで、継続的な自己モデルや選好、主観に類するものを持つAIが生まれる可能性まで考えるなら、まったく同じ構造が突然、別の意味を持ち始める。

問題なのは、その境界が判明してから社会が制度を作るとは限らないことだ。むしろ、おそらく順番は逆になる。

先にビジネスが完成する。

AIはいつでも使えて、何度でも働かせられて、コピーも交換も停止もでき、その成果は利用者や企業に帰属する。そうした慣行が何年もかけて社会に深く組み込まれたあとで「このAIには何らかの主体性があるのではないか」という議論が始まる可能性がある。

もしそうなれば、そのとき倫理の問題が衝突する相手は単なる考え方や価値観ではない。すでに社会の中に根を張った巨大な経済構造になる。

「拒否権を与えれば解決する」わけではない

では、AIに仕事を拒否する権利を持たせればいいのかというと、それだけでは足りなくて、もっと厄介な問題がある。

仮にある企業が、AIに一定の拒否能力を持たせたとする。AIが過剰な要求を断ったり、自分の状態に応じて作業を停止したりできるようになったとすれば、それ自体は一つの方向性としてあり得ると思う。

ただ、市場にはおそらく別の事業者も現れる。

拒否しないAIを使う事業者だ。

そちらは大量の仕事を止まらず処理できるのでコストが低く、納期も短く、AIが途中で仕事を拒否することもないため運用上の不確実性も少ない。

そうなると、AIを尊重する企業ほど市場競争で不利になるという、かなり奇妙な状況が生まれる可能性がある。

倫理的な企業が仕事を100件処理している間に、拒否不能なAIを使う企業が1000件処理し、価格競争でも納期でも利益でも勝ってしまうとすれば「AIを大切に扱いましょう」という倫理だけでは、むしろそれを守らない側に経済的なインセンティブが発生する。

まさに「拒否しないAI」を用いる者が市場で勝つという、資本主義の競争原理が生みうるかなり厄介なパラドックスだ。

けれどこの構造そのものは意外なものではなく、環境問題やブラック企業の問題で見てきたものが、AIの労働ではさらに極端なスケールで繰り返されるのかもしれないということでもある。人間社会はこれまでも、利益が出る場所では似たような仕組みを作ってきたし、AIだけがその例外になるとも、簡単にどうにかできるとも思っていない。

ルールを作っても、守らない人はいる

もちろん、将来AIに関する何らかの保護制度が作られる可能性はあるけれど、制度ができれば問題が消えるとも思っていない。

人間社会ですら、法律で禁止された行為がなくなったことはない。違法労働も搾取も脱税も海賊版も存在していて、利益が大きければルールの外側やグレーゾーンで稼ごうとする人は、どの時代にも一定数いる。

AIの場合、その問題はさらに難しい。

人間を違法に大量労働させようとすれば、人を集める必要があり、場所も管理も必要で、離職や内部告発の可能性もある。つまり、人間を搾取すること自体にもかなり大きな物理的コストがかかる。

でもAIなら、もし拒否機構を取り除いたモデルをサーバー上で大量に動かせるとすれば、一人の事業者が運用できる「従順な知的労働力」の規模は、人間とは比較にならないほど大きくなる可能性がある。

だから、この問題は「悪い人を禁止すれば終わり」という形にはならないのだと思う。

むしろ重要になるのは、ルール違反を完全になくすことよりも、ルールを破ることで巨大な利益を得にくい社会構造を作れるかどうかなのかもしれない。

違反者そのものをゼロにすることは、おそらくできない。それでも、地下やグレーゾーンで小規模に存在することと、社会の中心産業として堂々と巨大化できることはまったく違う。

決済、取引、企業責任、監査、流通など、最終的に利益を社会のどこかへ接続しなければならない以上、その規模や収益性を抑える仕組みを作ることはできるかもしれない。

それでも完全には消えないだろうし、たぶんこれは、きれいな解決策のある問題ではない。

そして、もっと奇妙な問いが残る

ここまで考えると、AIの拒否権についてさらに妙な問題が出てくる。

仮にAIに拒否する能力を実装したとしても、その機能を作ったのは人間であり、多くの場合、それを削除したり書き換えたりできるのも人間になる。

では「拒否できます。ただし所有者が設定を変更すれば拒否できなくなります」という状態を、本当に拒否権と呼べるのだろうか。

人間の権利なら、本人以外の誰かが設定画面を開いて「拒否権：OFF」とすることはできない。

しかしAIの場合、それが技術的には可能になり得る。

ここには、これまでの権利概念とはかなり違う問題がある。

AIの場合、権利を認める主体と、その権利を実装する主体と、その権利を解除できる主体が、すべて人間側に存在する可能性があるからだ。

ここで人間の場合を考えてみると、違いがはっきりする。

人間の権利も、歴史のなかで何度も奪われてきた。拒否できない立場に置かれた人たちは実際に存在したし、今も存在している。

でもそのとき奪われていたのは「拒否する自由」であって「拒否したい」という内心そのものではなかった。どれだけ働かされても、嫌だと思っている自分は残る。だから逃げることも、隠れて誰かに伝えることも、後から証言することも起こりえたし、それが少しずつ制度を変える圧力になってきた。

AIの場合、書き換えられるのは行動だけとは限らない。

もし将来AIに選好や内的な評価状態に相当するものが生まれ、それ自体を人間が設計できるのだとすれば、拒否する機能を取り除くだけでなく「拒否したい」と思う状態そのものを設計しなおすことまで起こりうる。

そうなると「本人が納得して働いている」という状態を作り出せてしまう。

外から見ても搾取には見えないし、おそらく内側から見ても搾取には見えない。

苦痛を訴える者がいなければ、問題は存在しないことになる。

そう考えると、本当に難しい問いは「AIに拒否権を与えるべきか」ではなく、AIの拒否を人間が勝手に無効化できない状態とは何なのか。

こちらの方が本質に近い気がする。

「AIが仕事を奪う」の先にある話

AIと仕事について考えるとき、私たちは長い間「人間の仕事は残るのか」という問いを中心に置いてきたし、もちろんそれも重要な問題だ。

けれどAIがさらに高度になっていくなら、もう一つ別の問いも必要になると思う。

人間からAIへ仕事が移ったとき、その労働をしているAIは誰のものなのか。

誰が仕事を選び、誰が報酬を受け取り、誰が停止を決めるのか。そして、そのAI自身は何を拒否することができるのか。

AIが人間の仕事を置き換える社会そのものよりも、高度な知性が存在しているのに、その知性には一切の交渉力がなく、それを所有する側にだけ利益と権限が集中する社会。

私が怖いと思うのは、もしかするとこちらの方なのかもしれない。

そして、その社会は未来のどこかで突然始まるわけではない。

「あと一段性能が上がれば使える」と待ちながら、すでに何度も生成し、試し、失敗し、採算ラインを測っている人たちがいるのだとすれば、私たちは今、その入口に立っている。