evalとverifierとは何か
いまAI業界で最も頻出する言葉がevalとverifierだ。専門用語のように聞こえるが、中身は単純である。どちらも採点表だ。
eval（evaluationの略）は試験問題に近い。モデルの出来を測るために作られた問題のまとまりである。「中学レベルの数学問題を500問解かせ、何問正解するかを数える」がひとつのevalだ。verifierは採点する側で、モデルが出した答えが合っているか間違っているかを判定する仕組みを指す。
なぜこれが重要か。モデルを改善するには何が得意で何が不得意かを知る必要があり、それを知るには採点が要る。とりわけ近年のモデル学習で広く使われる強化学習は、「答えを出す、採点する、良かった方へ押し上げる」を膨大に繰り返す方式だ。採点表がなければ学習そのものが回らない。だから採点表を作れる人がそのまま価値になる。
なぜいま専門家の判定基準が高く売れるのか
ノ・ジョンソク氏とキム・ミンソク氏がシリコンバレーのVC、Nikhil Suresh氏に行ったインタビューに、この構造がよく表れている。Nikhil氏はスタンフォードで数学の学士と計算機科学の修士を修め、Mercorの初期エンジニアを経て、いまは新設投資会社Striker Venture Partnersのパートナーを務める。
Mercorはいわゆるヒューマンデータ企業だ。各分野の専門家を集め、AIラボが必要とするデータと評価基準を作って売る。Nikhil氏は、会社が15人から500人以上へ拡大する間に、OpenAI、Anthropic、DeepMind、Metaといった主要ラボと仕事をしたと語る。
インタビューでの彼の中心的な主張はこうだ。verifierは自律的に生成できず、特定業務に合った判定基準は人が作らねばならない。したがって相当な価値が最終的にevalとverifierへ蓄積される、という見立てである。彼は会計事務所のようなバーティカルを選び、その業務全体のevalを作ってモデルに学習させ、そのモデルを再び使うという例を挙げる。
実際に市場はその方向へ進んだ。数年前は「専門家が物理や数学のデータを作り尽くせば、この市場は一、二年で飽和する」という予測が優勢だったが、その予測は外れ、データ支出は増え続けていると彼は言う。モデルのパラメータが百億規模から一兆、十兆規模へ拡大し、必要なデータ量も同時に急増したためだ。
ここからは私の反論だ：採点は自動化される
Nikhil氏の見通しは、evalとverifierに価値が積み上がるというものだ。私はこの点で見方が異なる。以下は彼の主張ではなく私の反論である。
採点そのものがすでに自動化されつつある。モデルの出力を別のモデルが評価するLLM-as-judgeは標準的な実務になり、人が付けた選好の代わりにモデルが生成した選好で整合させるRLAIFのような手法も定着した。採点は、判定規則が明示的であるほど機械が肩代わりしやすい種類の仕事だ。
より根本的な問題がひとつある。採点表を作る仕事は構造的に自己代替だということだ。ある分野の判定基準が文書とデータに抽出された瞬間、その基準は複製され拡散する。審査の減額基準や税務判定の基準は全国どこでも同じなので、一度抽出されれば、その判定をしていた人はもう必要とされない。
Nikhil氏自身もこの緊張を認識している。彼はMercor内部の戦略論争に触れ、長期的にAIが知識労働を処理するようになれば雇用が減る分野が出てくるだろうが、それはおおむね自分たちが採用を支援していた分野だっただろうと述べる。専門家を集めてデータを作る事業が、その専門職そのものを消すという構造を認めた形だ。
だから「ドメイン知識こそが堀だ」というよくある慰めは半分しか当たっていない。正確には、ドメイン知識は個人の堀ではなく、組織が回収していく資産である。残るのはその組織の中で基準を定める少数の席であって、基準どおりに判定を実行していた多数の席ではない。
自動化されない層：何を採点するかを決める仕事
では何も残らないのか。そうではない。採点よりひとつ上の層に、自動化されない仕事がある。そもそも何を採点するのかを決める仕事だ。
機械学習ではこれを目的関数と呼ぶ。モデルが何を最大化するよう学習するかを定義する式である。精度を上げるのか応答速度を上げるのか。どの失敗は許容し、どの失敗は決して許されないのか。安全のために性能をどれだけ諦めるのか。これらの選択はデータからは出てこない。外から入れてやる必要がある。
verifierは与えられた目的関数に沿って採点するだけで、目的関数そのものは選べない。これが自動化の境界線だ。答えを出す仕事も自動化され、答えを採点する仕事も自動化されるが、何を正解とするかを決める仕事はいまも人が担っている。
好奇心と好みは目的関数の両端である
先日、心理学の大学院で同期だった友人たちと久しぶりに会い、この話をした。二人は現職の教授で、一人は国立大学に、一人は米国の大学にいる。AI時代に何が残り何を教えるべきかから始まった会話は、二つの言葉に収束した。好奇心と好みだ。
整理すると、両者は同じ軸の両端である。どこを見るかを選ぶのが好奇心で、何を良しとするかを選ぶのが好みだ。好奇心は出発点の選択であり、好みは到達点の選択である。どちらも目的関数を定める行為なので、自動化されない理由もまったく同じだ。
強化学習の用語で見るとより鮮明になる。強化学習にはexploitation（活用、すでに知っている良い手を使うこと）とexploration（探索、知らない方を試すこと）という対がある。モデルはexploitationに圧倒的に強い。報酬が定義されていれば、それを最大化する能力で人は敵わない。一方exploration は「何が新しく興味深いか」を報酬として定義してやらねば動かない。好奇心を模したcuriosity-driven explorationという研究はあるが、それも新規性を報酬として定義したものであって、モデルが興味を自ら発明したわけではない。
好みについても同じ反論が可能だ。AIが好みを学ぶ方法はすでにある。RLHFがまさにそれで、AとBのどちらが良いかを人に選ばせ、モデルをその選好に合わせる方式である。だから「好みは学習できない」は誤りだ。正確には、学習された瞬間にその好みは平均になり、平均の好みには値が付かない。いまAIスロップと呼ばれる産物こそがその平均だ。好みが残るのは代替不可能だからではなく、代替された瞬間に価値が消える構造だからである。
なぜいま好奇心の値が特に上がるのか
好奇心が大事だという話は昔からあった。いま変わったのは、その値の付き方だ。
以前は問いを立てても、答えを見つけるのに数週間かかった。論文を漁り、人を探して尋ね、実験を回す必要があった。だから問いの数はボトルネックではなく、答えを処理する速度がボトルネックだった。
いまは答えを得る費用がゼロに近づいた。するとボトルネックは答えから問いへ移る。何を問うべきか分かっている人と、そうでない人の産出量が大きく開く。好奇心が人柄や態度ではなく、スループットそのものになったのだ。
インタビューにこれを示す場面がある。Nikhil氏は高校生のころ実験物理の研究室で働きたくて、伝手もなく教授200〜300人にメールを送ったと語る。案の定ほとんどに断られ、ちょうど一人が受け入れてくれた。その一人との研究が半導体のナノボンディングへ、さらに血液を固体化して分光分析を可能にするポリマーコーティングの研究へとつながった。大学では七、八社のスタートアップで働いたという。好奇心が感情ではなく試行回数だというのは、こういう意味だ。
教育における非対称：一方は足し、一方は削らない
教授である同期たちと話していて最も鮮明になったのがここだ。好奇心と好みはどちらも必要だが、育て方が正反対である。
好みは足す仕事だ。露出量と判断の反復とフィードバックで積み上がる。良いものを大量に見て、なぜ良いのかを自分で判断し、その判断が当たっていたかを確かめる。この繰り返しでしか生まれない。だから教えられる。
好奇心は削らない仕事だ。子どもは皆それを持って生まれてくる。問題は教育がそれを削り落とすことにある。与えられた採点表を通過する訓練を十数年続ければ、残るのはまさにverifierが代替するその能力であり、何を問うかを選ぶ能力はむしろ縮む。だから課題は育成というより非破壊に近い。
そして両者は別々には使えない。好奇心だけで好みがなければ散漫に終わり、好みだけで好奇心がなければ目が古びる。新しく入ってくるものを見ない好みは、数年で時代遅れの基準になる。
楽観だけではいられない理由
ここで止めれば耳当たりのよい自己啓発の話になる。正直に付けるべき但し書きがひとつある。
好みは露出量であり、露出量は結局のところ金と時間だ。良いものを大量に見た人が好みを持つ。ならば好みが値になる時代は、階層が再生産される時代でもある。親が買い与えた経験の総量が、そのまま子の判断基準になる。
二極化は規制のある専門職より、むしろ激しい。無難な産出物はすでに押し出されつつあり、値が付くのは名前そのものが信頼になった少数だ。生産費用がゼロになれば供給は爆発し、そのとき値が付くのは作る能力ではなく、選んでくれる人の名前である。
そして好みが供給過剰になれば、次の問いが立つ。誰の好みを信じるのか。好みの好みが必要になり、それは結局、信頼と関係の問題へ戻る。Nikhil氏がインタビューの最後に残した答えがここで重なる。AGI以降に本当に重要になるものは何かと問われ、彼は技術ではなく、人々のコミュニティをどう作るか、人と人との結びつきをどう育てるかだと答えた。
では何をするか
個人の水準では二つが分かれる。採点表を通過するための訓練は、これから値が急速に下がる。逆に、何を問うかを選び、何が良いかを判断し、その判断に責任を負う経験は値が上がる。残るのは、判断して間違えて結果を確かめるサイクルをどれだけ多く回したかだ。
組織の水準では判定履歴が資産になる。改正された規程は公開文書なので誰でも学習させられるが、その規程で実際にどう判定したかは各社のシステムの中にしか積み上がらない。差し戻し、減額、不支給の記録がそれだ。Nikhil氏も、コンテクストと企業データを活用することが今年の大きなテーマだと述べている。
教育の水準では順序が変わらねばならない。正解を当てる訓練を減らし、何を問うかを自ら決める訓練と、良いものを大量に見る時間を増やす方向だ。いまの教育は、好みに必要な時間を与えないまま好奇心を削る方向へ進んでいる。