AIの歴史でよく抜け落ちる一行
ディープラーニングの話はたいていこう始まる。コンピュータが速くなりデータが増えたのでニューラルネットが息を吹き返した。
間違いではない。ただしこの話は前半がまるごと抜けている。ニューラルネットがなぜよりによってあの形なのか、なぜ学習という言葉を使うのか、なぜ一つの正解をどこかに保存する代わりに無数の結合の強さを少しずつ直すのか。その設計意図はコンピュータ側から出てきたものではない。
いま使われているモデルの骨格は1949年の一文から出発し、1986年のある研究プロジェクトで完成した。そのプロジェクトを率いた二人の所属学科は計算機科学科ではなかった。心理学科である。
1949年、心理学者が書いた一文
ドナルド・ヘッブはカナダのマギル大学の心理学者だった。1949年の著書『行動の機構』で示した考えはこう要約できる。二つの神経細胞が繰り返し一緒に活動すると、その間の結合が強くなる。
一文としては地味に見えるが、この文は記憶がどこにあるのかという問いの答えを丸ごと入れ替えた。それまで記憶はどこかに置かれた物に近かった。引き出しがあり、そこに中身が入っていて、取り出して使う。ヘッブの提案は逆だった。記憶は場所ではなく強さである。どの引き出しに入っているのではなく、細胞と細胞のあいだの結合がどれだけ強いかに散らばっている。
ヘッブはもう一歩進んだ。しばしば一緒に発火する細胞どうしは強く結びついて一つのまとまりのようにふるまうと考え、それを細胞集成体と呼んだ。概念一つが細胞一つに対応するのではなく、複数の細胞が同時に点くパターンに対応するということだ。
いまニューラルネットが行う学習はまさにこの二つである。数値としての結合の強さを少しずつ直すことと、概念一つをニューロン一つではなく複数のニューロンの活性パターンで表すこと。半世紀以上たったいまも、この骨格はそのままだ。
最も有名な引用はヘッブの言葉ではない
ヘッブの理論はふつうこの短い言い回しで引かれる。一緒に発火する細胞は一緒に結びつく。
ところがこの文はヘッブが書いたものではない。神経科学者のカーラ・シャッツが1992年のサイエンティフィック・アメリカン誌の記事でヘッブの原理を要約する際に作った表現で、本人がそう述べている。ヘッブの原文ははるかに長く慎重だ。細胞Aの軸索が細胞Bを興奮させるほど近く、繰り返しその発火に関与すると、二つの細胞の一方または両方に何らかの成長過程または代謝変化が起こりAの効率が高まる、という具合である。
わざわざ指摘するのには理由がある。この連載の目的が、心理学とAIのあいだに実際に走っている線だけを残して残りを取り除くことだからだ。理論はヘッブのもので合っているし、その理論がニューラルネットの学習規則につながったのも合っている。ただしあの有名な言い回しは43年後に別の人が付けた要約である。引用するときは出どころを付け替えるべきだ。
1958年、その考えが実際の機械になった
1958年、フランク・ローゼンブラットがパーセプトロンを作る。ヘッブの発想を回路に移した最初の機械だった。
いまの感覚では想像しにくい代物である。コーネル航空研究所に設置されたマーク1パーセプトロンはソフトウェアではなく部屋を埋めるハードウェアだった。縦横二十個ずつ並べた四百個の光電池が目の役目をし、結合の強さは数値ではなく可変抵抗器のつまみの位置だった。学習とは電気モーターがそのつまみを実際に回すことだった。
当時の報道は熱かった。ニューヨーク・タイムズはこの機械を、歩き、話し、見て、書き、自らを複製し、自分の存在を意識するようになると期待されるコンピュータの胚だと伝えた。実際のデモは単純な図形の分類で、期待は人間並みだった。
この落差が後で高くついた。実際の性能と期待とのあいだの距離は、技術的な限界が露わになった瞬間にそのまま失望の大きさになる。
一層では解けないとても易しい問題
1969年、マービン・ミンスキーとシーモア・パパートが『パーセプトロン』という本を出す。そこで指摘されたのは、一層のパーセプトロンがきわめて単純に見える問題を解けないという事実だった。
その問題は階段の照明で説明できる。階段の上と下にスイッチが一つずつあり、電灯は一つだ。どちらのスイッチを操作しても明かりが点いたり消えたりする。両方上げても消え、両方下げても消え、片方だけ上げたときに点く。二つの入力のうちちょうど一方だけが真のときに真になるこの条件を排他的論理和という。
紙に四つの場合を点として打ってみると問題が見えてくる。点く二点と消える二点が対角線上に食い違っているので、直線一本では二つのまとまりを分けられない。ところが一層のパーセプトロンが引ける境界はちょうど直線一本だ。
これはチューニングで片づく類ではない。データを増やしても学習を長く回してもだめで、構造ができないことだ。層を重ねれば曲がった境界を作れることは当時も分かっていた。問題は別のところにあった。
複数の層をどう学習させるのか
一層なら学習は易しい。答えが違ったら入力と正解を見てその層の結合の強さを直せばよい。誰が誤ったのかがはっきりしている。
層が三つになると事情が変わる。最後の答えが違ったとき、一層目のどの結合がどれだけ誤ったのかが分からない。中間層にはそもそも正解が定まっていない。これを功績分配の問題という。最終結果一つを見て、それに寄与した多数の部品に責任を割り振る作業だ。
誤差逆伝播が解くのがこの問題である。やり方はこうだ。まず末端で正解と実際の答えの誤差を測る。次に最後の層の結合ごとに、この結合をほんの少し大きくすると誤差が増えるか減るかを計算する。その情報を一つ下の層に渡して下の結合の責任分を求め、さらに下へ渡す。誤差を入力の方向へ逆に流すので逆伝播という。
各結合は自分の分だけほんの少し動く。一度に大きく直さない理由は、いま見た一例が全体を代表しないからだ。この小さな修正を数百万回繰り返すと、全体が徐々に正解の側へ落ち着いていく。
誤差逆伝播は1986年に発明されたのではない。同じ計算はポール・ワーボスが1974年のハーバード大学博士論文ですでに示している。当時は広く知られなかっただけだ。
1986年のPDP、しかしこれは心理学プロジェクトだった
その錠を実際に開けたのが1986年のPDPである。並列分散処理と題された二巻の書物であり、多くの研究者が加わったプロジェクトの名でもある。ここで多層ニューラルネットを誤差逆伝播で実際に学習させられることが説得力をもって示され、同じ年にネイチャーに載った論文がその結果を学界全体に伝えた。
この回の要点はここにある。PDPを率いた二人は心理学者だった。
デビッド・ラメルハートはカリフォルニア大学サンディエゴ校の心理学科教授で、のちにスタンフォードへ移った。ジェームズ・マクレランドは当時カーネギーメロン大学の心理学科教授である。1984年にカリフォルニア大学サンディエゴ校から移っており、スタンフォード行きは2006年のことだ。
偶然の所属ではない証拠は成果そのものにある。二巻本の第二巻の副題がそもそも心理学的および生物学的モデルだ。そして二人はこの業績で2002年のグロマイヤー心理学賞を受けている。計算機科学の賞ではない。心理学の賞である。
つまりいまのディープラーニングの中核となる学習方法が定着した場所は、計算機の研究室ではなく人の心を説明しようとした心理学プロジェクトだった。
彼らが実際に解こうとしていた問題
PDPが抱えていた問いは、機械を賢くする方法ではなかった。人はなぜ規則を学んでいないのに規則どおりに話すのか、である。
最も有名な事例が英語の過去形だ。子どもは最初、不規則動詞を丸ごと覚えて正しく使い went と言う。ところがある時点からむしろ間違えはじめる。規則的な語尾を不規則動詞にまで付けて goed のような形を口にするのだ。そしてまた正しく戻る。よくできて、できなくなって、また戻るU字の曲線である。
これがなぜ面白いのか。子どもが goed と言うにはどこかでその言葉を聞いていなければならないのに、大人はそう話さない。つまり子どもは聞いていない形を自分で作り出した。規則を学んだように見える。ところが規則を教えた者はいない。
ラメルハートとマクレランドは、規則を一つも入れていないニューラルネットでこの曲線を再現しようとした。規則なしに結合の強さだけを直す模型が子どもと似た誤りのパターンを示すなら、人の頭の中にも規則表がない可能性があるという意味になる。
この模型は激しい論争を呼んだ。スティーブン・ピンカーとアラン・プリンスが1988年に反論を出した。U字曲線が出た理由は学習そのものではなく、訓練データを途中で急に入れ替えた設計にあるという指摘で、この批判は広く受け入れられた。論争は数十年続いた。
ただしその論争の性格を見てほしい。心理学の学術誌で子どもの言語習得をめぐって交わされた論争である。この模型が何をしようとした代物だったのかは、論争が存在したこと自体が語っている。
用語は一つだけ、コネクショニズム
コネクショニズムとは、知識が規則や項目としてではなく無数の結合の強さに分散しているという見方である。
反対側には記号主義があった。知識を記号と規則として明示的に書いておく路線だ。猫は哺乳類である、哺乳類は動物である、ゆえに猫は動物である。人が読めるし、どこを直せばよいかもはっきりしている。
コネクショニズムはその逆を選んだ。いまのモデルのどこにも猫は脚が四本だと書かれた場所はない。その情報は数億個の結合の強さの中に散らばっていて、どの結合を一つ開けてみてもそこに意味はない。これを分散表現という。
この選択には代償がある。一つのことが散らばっているので似た場合にはよく一般化するが、特定の事実一件を正確に取り出すのは弱い。直したい箇所を見つけて直すこともできない。この二つの性質が、いま私たちが直面する問題のほとんどの出発点である。
では明日から何を変えるか
AIを検索窓ではなく結合のかたまりとして扱う。同じ問いに毎回違う答えが返るのは故障ではなくこの構造の性質だ。どこにも原本が保存されていないので毎回組み立て直される。
だから重要な答えは二度尋ねる。新しいウィンドウを開いて言い回しを少し変え、同じことをもう一度聞く。二度尋ねて同じ結論になればその答えは結合の強さにしっかり刻まれており、分かれれば模型はその部分をよく知らない。別の道具なしに使える最も安い信頼度の測り方である。
正確でなければならない事実は結合に任せない。日付、数値、引用、人名は原文を渡してその中から探させる。分散した保存は一般化に強く正確な一件に弱い。これはよい模型を選べば片づく問題ではなく、構造から出てくる性質だ。
逆に一般化が要る仕事は思い切って任せる。この文章のトーンをそろえて、この表を要約して、このコードのどこがおかしいか見て、といった依頼は正確な一件ではなくパターンを求めている。分散表現が最も得意な側だ。
まとめるとこうなる。事実はこちらが渡し、判断を任せる。この原則一つが、以降のほとんどの回の背景になる。