誕生秘話!「ディープラーニング」を成功に導いた「信じつづける」力

冬の時代を耐え抜いた先駆者の熱き想い
金丸 隆志 プロフィール

その原因の1つとしては、現在のCNNを学習させる手法である「誤差逆伝播法(バックプロパゲーション)」が当時は適用されなかったことが挙げられます。

誤差逆伝播法とは、パーセプトロンではできなかった隠れ層の学習を可能にする手法で、現在のディープラーニングでも広く使われています。

「ファジィ」ブームとは何だったのか?

その誤差逆伝播法は1986年、認知心理学者のラメルハートやヒントンらによって提案されました。

これにより、単体のニューロンを学習させるモデルに比べ、より実用的な問題が取り扱えるようになり、第2次ニューラルネットワークブームが勃興しました。パーセプトロン同様に文字の認識ができ、英語の綴りからその発音を推測するモデルなども生まれました。

日本では、ニューラルネットワークとともに、「あいまい」を意味する「ファジィ」という概念がブームとなりました。そのブームに乗じて、1990年頃にニューロ洗濯機やファジィ洗濯機が登場したことを覚えている人もいるかもしれません。

【写真】洗濯機
  汚れの程度を検出して洗濯時間を決める機能などは、いわゆるファジー洗濯機の得意分野だ photo by gettyimages

「ニューロ(neuro-)」とは、ニューラル(neural)を接頭辞にしたものです。一方の「ファジィ」は、従来のコンピュータがおこなう0と1からなる論理だけではなく、中間の状態も許容することを指す言葉ですが、ニューラルネットワークもそれに似て「人間に似た、柔軟な判断をおこなう」という程度の意味で、一般に受け入れられていたのでしょう。

「信じつづける」力

当時のニューラルネットワークでは、大規模な問題に対して学習が完了するまでに時間がかることや、性能が上がらないこと、最適な状態が得られる前に学習が止まってしまうことなどから、1990年代前半には、第2次ブームも沈静化していくことになりました。

その結果、その周辺分野の研究がさかんになります。データをもとにコンピュータに問題を解かせる機械学習の分野や、現実の脳で起こる現象を実験とともに明らかにする分野などです。

一方、現在のディープラーニングに直接つながる研究も、地道につづけられていました。

たとえば、AT&Tの研究所に所属していたルカン(現在ニューヨーク大学教授およびフェイスブックの主任AI研究者)らによるCNNに誤差逆伝播法を適用する研究(1989年)や、CNNを大規模化する研究(1998年)などです。どちらの論文にも、福島博士のネオコグニトロンについての論文が参考文献として引用されています。

【写真】ヤン・ルカン
  ヤン・ルカン(Yann LeCun) photo by gettyimages

しかし、第1次ブームの後と同様、従来のニューラルネットワークの可能性を2000年ごろに信じていられた研究者は、多くはなかっただろうと推測されます。

もちろん、私たちの脳は視覚や聴覚などを通して外界を巧みに認識していますから、そのしくみが存在するはずです。しかし、研究分野を変更する研究者が増えていくなか、従来のニューラルネットワークを発展させることで脳のはたらきに迫れるはずだという信念を抱きつづけるのは、決して容易なことではなかったでしょう。

「第三のブーム」到来

そして現在、ディープラーニングの登場によって、ニューラルネットワークは三度目のブームを迎えています。