2045年、人工知能の「シンギュラリティ」で人類は滅びるか?

AIが増幅する人間の「脆弱性」
茂木 健一郎 プロフィール

人工知能による、人類の「存在論的危機」

グッドが予言した人工知能の「シンギュラリティ」。

人類はやがて、人工知能によって置き換えられてしまうのだろうか。人類はやがて、「最後の発明」にたどり着いてしまうのか。

自分自身を改良する能力を持つ人工知能、そしてそれがもたらす「知性の爆発」が起こるかどうかにかかわらず、人工知能がこれから発展することによって人類の「存在論的危機」が起こるという考え方がある。

 

人工知能の発達によって、人類が滅亡してしまうのではないかという危惧は、シンギュラリティが起こるかどうかに関係なくリアルなものだと言わざるを得ない。

その根本的な理由は、人工知能の「狭さ」にある。

『2001年宇宙の旅』の中で、スーパーコンピュータの「HAL 9000」は、任務の遂行のためには宇宙飛行士の一人を「排除」することが必要だという判断をしてしまう。

人間から見れば明らかに異常で受け入れがたい選択を人工知能がしてしまう背景には、その「評価関数」がある。システムがどのようにふるまうべきなのか、評価関数がはっきりとしていることは、人工知能の「鋭さ」にもつながるし、その「狭さ」にもなる。

人工知能は鋭いが故に狭い

人間の「常識」はなかなかルールで書くことはできない。例えば、仕事の上での「成功」を徹底的に追求しているように見えるビジネスパーソンでも、その評価関数は「成功」だけで尽きるわけではない。

生命の動きは測り難い。簡単にはその評価関数を決定できないのが人間というものであり、それは生命全体の性質である。生命の「いきいき」とした動きは、特定の評価関数では書きにくい。それをある程度言語化できるのが人間の「常識」である。

特定の評価関数の文脈ではとらえきれないからこそ、生物はさまざまな状況に適応して、生きのびることができる。

一方、人工知能の工学的大前提は、何らかの「評価関数」を最適化することである。ビジネスで言えば、稼ぐお金の額や、生産される商品やサービスの量を評価関数とするという設定がなければ、人工知能は学習することができない。

逆に言えば、評価関数が設定されさえすれば、それを最適化する上で人工知能は人間など足元にも及ばない能力を発揮する。

人工知能は鋭いが故に狭い。狭いが故に鋭い。

そこに、人類にさまざまな災厄をもたらすかもしれない「パンドラの箱」が開いてしまうかもしれないリスクがある。

ペーパークリップをつくり続ける人工知能

人工知能がもたらす人類の存在論的危機について先駆的な論考をしてきたニック・ボストロムは、このような人工知能の「狭さ」が、まさに人類の存在論的危機につながると考える。

人工知能の「狭さ」を象徴する思考実験としてボストロムが議論しているのが、「ペーパークリップ」をつくり続ける人工知能である。

ペーパークリップは、確かに役に立つ。それを生産する工場では、いろいろ工夫して効率よく大量のクリップをつくろうとしているだろう。ボストロムの思考実験における人工知能は、とにかくあらゆる手段を用いてペーパークリップの生産を最大化するのである。

現実の世界では、工場でのペーパークリップ生産には、さまざまな前提条件がついている。例えば、需要が落ちているのにペーパークリップを生産し続けても仕方がない。いくらつくっても売れなければ仕方がないので、需要がなくなったらつくるのをやめる。

原材料の価格が上がったり、ペーパークリップの市場価格が下がってもつくるのをやめるだろう。工場で働く人の健康や幸せが脅かされるような事態になったら、そちらを守るのが優先で工場の操業は停止されるだろう。

ところが、ボストロムの思考実験における「ペーパークリップ最大化知能」は、そのような考慮を一切なしにペーパークリップをつくり続けてしまう。

なぜならば、この人工知能の唯一の評価関数は、「ペーパークリップの生産数」であり、それを最大化するように学習が進むからである。

関連記事

ABJ mark

ABJマークは、この電子書店・電子書籍配信サービスが、著作権者からコンテンツ使用許諾を得た正規版配信サービスであることを示す登録商標 (登録番号 第6091713号) です。 ABJマークについて、詳しくはこちらを御覧ください。https://aebs.or.jp/