誕生秘話!「ディープラーニング」を成功に導いた「信じつづける」力

冬の時代を耐え抜いた先駆者の熱き想い
金丸 隆志 プロフィール

人工ニューロンに学習機能をもたせたのが、1958年に心理学者のローゼンブラットが発表した「パーセプトロン」というモデルです。文字認識などの機能を、学習によってデータから自動的に獲得できるというものでした。

パーセプトロンは、人間がおこなう「認識」を再現できるということで大きな話題となり、第一次ニューラルネットワークブームを巻き起こしました。

【写真】パーセプトロン調整の様子
  パーセプトロンの配線を調整するローゼンブラット。アメリカ・コーネル航空研究所にて、1960年代初期 photo by gettyimages

しかし、やがてパーセプトロンはかんたんな認識課題にしか適用できないとわかり、ブームは1970年ごろに沈静化します。その理由として、当時のコンピュータの性能が低かったことと、ニューロンが機能を獲得するための「学習」がニューラルネットワークの内部(「隠れ層」といいます)のニューロンに適用できなかったことが挙げられます。

研究ポストもなかなか見つからず…

先回りになりますが、ディープラーニングに大きな貢献をした研究者にヒントン(現在トロント大学とGoogleに所属)がいます。

【写真】ジェフリー・ヒントン
  ジェフリー・ヒントン(Geoffrey Everest Hinton ) photo by gettyimages

ヒントンは、脳が働くしくみを明らかにすることを目指し、ケンブリッジ大学で生理学、物理学、哲学、心理学を学びました。1970年に大学を卒業したものの、そこでは彼の求める答えは見つからなかったそうです。

卒業後に大工などを経験したのちの1972年、ヒントンはエジンバラ大学の人工知能学科に進学し、ニューラルネットワークの研究を始めます。ちょうど第1次ニューラルネットワークブームが沈静化した時期であり、誰もニューラルネットワークの有用性を信じなかった当時は、研究者としての就職先も少なく、少ない研究費での研究が続きました。

一方、日本では1980年、NHKの研究所に勤務していた福島邦彦博士が「ネオコグニトロン」というニューラルネットワークを提案しています。

こちらも先回りになりますが、ネオコグニトロンは現在、「畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)」とよばれているニューラルネットワークの元祖とされるモデルです。

CNNは現在、ディープラーニングを画像に適用する際のほとんどのケースで利用されています。CNNは人間の視覚情報処理の手法を取り入れたもので、2012年に開催された画像認識のコンテストで他の手法による結果を圧倒したことが、ディープラーニングの性能を世に知らしめるきっかけの1つとなりました。

福島博士は日本のニューラルネットワーク研究の第一人者であり、ネオコグニトロンは当時からよく知られたモデルでしたが、現在のCNNほど広く受け入れられたわけではありませんでした。