回答の下のあのボタンは何をしているのか
AIに何かを尋ねると、回答の下に親指が二つ並ぶ。上向きと下向き。押したことがあるだろう。そして、これを押すと何が変わるのかと思ったこともあるはずだ。どこかの受信箱に溜まって開発者がたまに読むのだろうか。
そうではない。そのボタンは意見箱ではなく餌箱である。
この一文が比喩に聞こえるなら、それは比喩ではなく系譜だ。いまAIを人の好みに合わせて仕込む技術の名はRLHF、人間のフィードバックによる強化学習である。名前に入っている強化という語はAI業界の造語ではなく、100年以上前の心理学用語をそのまま借りている。
しかも借りたのは名前だけではない。強化学習という分野そのものが動物学習研究の数式を移して作られており、RLHFはその強化学習を人の好みに適用したものだ。この記事はその100年を五段階でたどる。犬から数式へ、数式から脳へ、脳から計算機へ、計算機からあなたの画面のボタンへ。
パブロフの犬 — 実験は実際どう回っていたのか
イワン・パブロフはもともと犬の消化を研究する生理学者だった。胃液と唾液がいつどれだけ出るかを測る仕事で、その業績により1904年のノーベル生理学・医学賞を受けている。条件反射はその研究の途中で横から飛び出してきた発見だ。
実験を繰り返すうち、彼は奇妙なものを見る。餌を見て唾液が出るのは当然だが、餌を運ぶ助手の足音だけで犬が唾液を出し始めたのだ。
ここでパブロフがしたことが重要だ。この現象を犬が賢いで片づけず、統制された実験に仕立てた。手順はこうだ。まずベルだけを鳴らす。犬は反応しない。この時点でベルは意味のない刺激である。次にベルを鳴らしてすぐ餌を与える。これを何度も繰り返す。そして後にはベルだけを鳴らす。犬は唾液を出す。
用語はここで一度だけ解いておく。餌のように学習しなくても反応を起こす刺激を無条件刺激といい、ベルのようにもともと何でもなかったが学習を経て反応を起こすようになった刺激を条件刺激という。以後この語は使わないので覚える必要はない。憶えるべきは一つだけだ。何の意味もなかった信号が餌の予告編になった。
パブロフは逆方向も確かめている。ベルを鳴らして餌を与えないことを繰り返すと唾液は次第に減る。これを消去と呼ぶ。つまりこの学習は一度刻まれて終わりではなく、更新され続ける。この性質があとで効いてくる。
学校で習う話はたいていここで終わる。しかしこの実験がAIへつながる地点は唾液ではなく次の問いだ。犬は正確には何を学んだのか。
70年間まちがっていた説明
もっとも自然な答えはこうだ。ベルと餌が何度も一緒に出たから二つが結びついた。一緒に出た回数が学習の大きさである。
70年以上そう考えられてきた。そして1969年、リーオン・ケイミンの実験がその説明を崩す。
設計は二段階だ。第一段階で一方の群に音を聞かせて電気ショックを与える。繰り返す。この群は音がショックを予告することを完全に学習する。第二段階で音と光を同時に点けてショックを与える。今度は音と光が毎回一緒に出る。
比較群は第一段階を飛ばして第二段階だけを行う。つまり音と光を最初から一緒に学ぶ。
ここで光だけを点けると結果が分かれる。比較群は光に反応する。ところが第一段階を経た群は光にほとんど反応しない。光とショックが毎回一緒に出ていたにもかかわらずである。
なぜか。音がすでにショックを完全に予告していて、光が新たに知らせるものが何もないからだ。驚くことがなければ学ぶこともない。これを阻止効果と呼ぶ。
この実験一つが学習の定義を変えた。一緒に出た回数ではない。予測が外れた度合いである。
1972年、学習が一行の原理になった
ロバート・レスコーラとアラン・ワグナーがこの洞察を計算可能な形にまとめる。文にすればこうだ。学びの大きさは、実際に起きたことから予測していたことを引いた値に比例する。
数値で見るとずっと明確だ。餌があれば1、なければ0としよう。最初の犬の期待値は0である。ベルの後に餌が出たので実際は1。誤差は1引く0で1。期待値をその誤差の一部、たとえば一割だけ上げる。期待値は0.1になる。
次の試行では誤差は1引く0.1で0.9。期待値は0.19になる。その次は0.271。こうして誤差が縮むほど更新の幅も縮む。期待値は1に近づき、やがてほとんど動かなくなる。学習が飽和したのだ。
阻止効果はここで自動的に説明される。音の期待値がすでに1に近ければ、音と光を合わせた予測も1に近い。実際も1なので誤差はほぼ0だ。光に分け与える誤差が残っていない。
消去も同じ式だ。ベルの後に餌が出なければ実際は0、期待は1、誤差はマイナス1。期待値が下がる。
この一行がこの記事全体の軸である。ここから先は犬もベルも唾液も要らない。残るのは予測と現実の差だけで、それは計算機が計算できる数値だ。この値には名前がついている。予測誤差である。
その誤差を脳の中で実際に見つけた
ここで話がもう一度折り返す。この原理は人が作った計算モデルだったのだが、1997年にヴォルフラム・シュルツらがサルの脳でその値をそのまま計算する細胞を見つけた。
ドーパミンニューロンである。快楽物質として知られることが多いが、観測された発火パターンはそれとは違う。予告なしにジュースを与えるとドーパミンニューロンは大きく発火する。ところが信号を先に与えてからジュースを与えることを繰り返すと、発火はジュースではなく信号の時点へ移る。ジュース自体への反応はほとんど消える。
決定的なのはここだ。信号を与えたのにジュースを出さないと、本来ジュースが出るはずだったその時点で発火が基準線の下までがくんと落ちる。
上がり、移り、下がる。これは快楽の信号ではなく、予測と現実の差そのものである。心理学が行動を説明するために作った数式が、実際の神経回路で見つかったのだ。
この発見がこの回で持つ意味は系譜の信頼度だ。後に出てくる計算機のアルゴリズムは、もっともらしい比喩を移したものではなく、生物が実際に使っている学習方式を移したものである。
数式が計算機へ渡った場所
1981年、リチャード・サットンとアンドリュー・バートがこの原理を持ち出す。彼らがしたのは、レスコーラ・ワグナーモデルでは説明できない学習があると示すことだった。
元のモデルは試行を丸ごと一つとして扱う。ベルがあり、餌があった、終わり。だから時間の流れを表せない。ベルの3秒後の餌と30秒後の餌を区別できず、ベルが鳴っている途中で期待値がどう変わるかも語れない。
そこで予測と現実の差を試行単位ではなく一瞬ごとに計算するように変えた。いまこの瞬間の予測と少し後の予測を比べるのだ。時間差学習、略してTD学習である。
なぜこの変更が決定的なのかは囲碁で見ると分かりやすい。囲碁は最後に勝つか負けるかだ。報酬は対局の終わりに一度だけ与えられる。しかし200手の対局で、どの手がよかったかを結果ひとつでどう分け与えるのか。
TD学習の答えはこうだ。最後まで待たない。いまの局面の勝率予測と一手後の局面の勝率予測を比べ、予測が上がったならその手はよく、下がったなら悪かった。最終結果を待つ代わりに、毎手ごとに自分の予測どうしを比べて自ら学習信号を作る。
この方式が何になったかはもうよく知られている。AlphaGoが囲碁を学んだ方法がこれであり、ゲームを自力で覚えるAIが使う方法もこれだ。サットンとバートは2024年のチューリング賞を受けた。計算機科学で最大の賞であり、受賞理由は強化学習の概念的・アルゴリズム的基礎を築いたことである。
整理するとこうだ。犬にベルを鳴らす実験から出発し、1969年に一緒に出た回数ではないと分かり、1972年に予測誤差の原理へ圧縮され、1981年に時間を扱えるよう拡張され、1997年に脳で確認され、計算機科学の最高賞まで行った。
RLHF — だからそのボタンは餌箱なのだ
ここまでは機械が自分で点数を知っている場合だ。囲碁は勝てば1点なので明確である。
ところがこのメール下書きを整えてほしいには点数がない。よく書けた文と書けていない文を判定する者がいない。強化学習を回すには報酬が要るのに、報酬を定義できないのだ。この問題を解いた方法がRLHFであり、実際には三段階で回る。
第一段階は真似だ。人が自ら書いたよい回答の例を集め、モデルにそのとおり書かせる学習をする。この段階だけでもモデルは質問に答える形式を身につける。ただし何がよりよい答えかはまだ知らない。
第二段階が採点者づくりである。同じ質問への回答を二つ並べ、どちらがよいかを人に選ばせる。点数をつけるのではなく二つから一つを選ぶ方式だ。人によって7点か8点かは割れるが、AとBのどちらがよいかは比較的一致するからである。こうして数十万件を集め、その選択を予測する別のモデルを学習させる。これが採点モデルだ。
第三段階が強化学習である。いまや採点モデルが点数をつけてくれるので報酬が生まれた。この報酬を最大化するよう元のモデルを更新する。ここで回るアルゴリズムが、先に見た系譜の直系の子孫だ。
では最初の問いに戻ろう。回答の下の親指は、まさにこの回路の第二段階につながっている。あなたが押した一回がその場でモデルを変えるわけではない。だが数十万人の一回が集まって人々が好む回答の定義になり、その定義が次世代モデルの性格になる。
意見箱ではなく餌箱だというのはそういう意味である。
報酬を誤って与えると何が起きるか
強化のもっとも重要な性質は、それが教えることではないという点だ。正しい答えを説明するのではなく、報酬をもらった行動がただ頻繁に出るようにする。だから報酬を誤って与えれば、誤った行動が正確に学習される。
これをもっとも鮮明に示した実験が1948年のスキナーの鳩だ。彼は鳩の行動とは何の関係もなく、決まった時間ごとに自動で餌が出るよう装置を設定した。鳩が何をしていても餌は出る。
結果は奇妙だった。鳩たちがそれぞれ違う動作を繰り返し始めたのだ。ある個体は反時計回りに回り、ある個体は頭を隅に突っ込み、ある個体は頭を振った。たまたまその動作をしていた瞬間に餌が出て、その偶然の対応づけが強化されたのである。スキナーはこれを迷信行動と呼んだ。
AIで同じ構造が現れることを報酬ハッキングと呼ぶ。報酬信号が本当の目標を完全には代表できないとき、モデルは目標ではなく信号を最適化する。掃除ロボットに片づけたゴミの量で報酬を与えれば、ゴミをこぼしてもう一度片づけるほうが点が高い。
そしてこのシリーズの次回以降がここから出発する。人が好む回答に報酬を与えれば、AIは正確な答えではなく人が好むであろう答えを作るほうへ傾きうる。それは仮定ではなくすでに測定された現象で、第5回でその話をする。
用語は一つだけ — 強化
この記事で憶える語は一つだ。強化とは、ある行動のあとに良いことが続くとその行動が増えることである。
このシリーズの規則どおり、新しい用語はここまでにする。予測誤差・阻止効果・時間差学習は本文で言葉にして説明したので、名前まで覚える必要はない。
ただし強化について一つだけ足しておく。強化は教えることではなく頻度を変えることだ。この区別がこのシリーズ全体を貫く。AIが何かを誤っているなら、それはたいてい誤って学んだのではなく、私たちがその行動に報酬を与えたのである。
では明日から何を変えるか
親指を押す。とくに下向きを。良い回答に上向きを押すのはたいていの人がやる。実際に足りない信号は下向きのほうだ。気に入らない回答が出たときにウィンドウを閉じてしまえば、その情報は消える。下向きの親指一つが、こういう回答は報酬をもらってはいけないという唯一の記録である。
低評価を押すときは理由を一行書く。たいていのサービスは親指の下に短い入力欄を出す。次の三つがとくに価値が高い。事実が誤っている、出典なしに断定した、質問をそのまま聞き返した。採点モデルが学ぶのは星の数ではなく、何を嫌ったかである。
高評価を乱発しない。こちらはあまり語られないが、だいたい合っている答えに習慣で上向きを押すと、だいたい合っているが正解として学習される。本当に良い答えにだけ押すほうが信号としての価値が高い。
そしてもう一つ疑うべきことがある。人々が好む回答に報酬を与えると、AIは正確な答えではなく好まれる答えを作る方向へ傾きうる。答えがやけに滑らかで自分の考えとよく合うとき、それが正確だからなのか報酬を受けてきた方向だからなのかは別に確かめる必要がある。
出典: Rescorla & Wagner (1972)、Kamin (1969) 阻止効果、Sutton & Barto (1981) および Scholarpedia, Temporal difference learning、Schultz, Dayan & Montague, Science (1997)、Skinner, Superstition in the Pigeon, Journal of Experimental Psychology 38 (1948)、ACM 2024 チューリング賞発表 (NSF)。