eval 和 verifier 是什么
eval 和 verifier 是当下 AI 业界出现频率最高的两个词。听上去像术语，实质却很简单。两者都是评分表。
eval（evaluation 的缩写）更接近试卷，是为衡量模型表现而编成的一组题目。比如「让模型做 500 道初中数学题，数它答对几道」就是一个 eval。verifier 则是打分的一侧，负责判定模型给出的答案是对还是错。
这为什么重要？要改进模型，就必须知道它擅长什么、不擅长什么，而要知道这些就必须打分。尤其是如今模型训练中广泛使用的强化学习，其方式正是不断重复「给出答案、打分、朝得分高的方向推」。没有评分表，学习循环根本转不起来。因此，能够制作评分表的人本身就成了钱。
为什么现在专家的判定标准卖得很贵
卢正锡与金旼奭对硅谷风险投资人 Nikhil Suresh 的访谈，把这个结构讲得很清楚。Nikhil 在斯坦福完成数学学士与计算机科学硕士，曾任 Mercor 的早期工程师，现在是新设投资机构 Striker Venture Partners 的合伙人。
Mercor 是所谓的人类数据公司，聚集各领域专家，制作并出售 AI 实验室所需的数据与评估标准。Nikhil 说，在公司从 15 人扩张到 500 人以上的过程中，他与 OpenAI、Anthropic、DeepMind、Meta 等主要实验室都有合作。
他在访谈中的核心论点是：verifier 无法自主生成，贴合特定任务的判定标准必须由人来制作，因此相当可观的价值最终会沉淀在 eval 与 verifier 上。他举例说，可以选定会计师事务所这样的垂直领域，为该领域的全部任务制作 eval，用它训练模型，再把这个模型投入使用。
市场确实朝那个方向走了。几年前的主流预测是「等专家们把物理和数学数据都做完，这个市场一两年内就会饱和」，但他说这个预测错了，数据支出仍在持续增长。因为模型参数从约百亿规模扩张到一万亿、十万亿规模，所需数据量也随之暴增。
从这里开始是我的反驳：打分会被自动化
Nikhil 的判断是价值会沉淀在 eval 与 verifier 上。我在这一点上看法不同。以下是我的反驳，不是他的主张。
打分本身已经在自动化。让另一个模型评估模型输出的 LLM-as-judge 已成为常规做法，用模型生成的偏好替代人工标注偏好来对齐的 RLAIF 等方法也已站稳。判定规则越明确的工作，越容易被机器接手，打分正属于这一类。
还有一个更根本的问题：制作评分表在结构上是一种自我替代。当某个领域的判定标准被提取成文档与数据的那一刻，这套标准就会被复制和扩散。审查扣减标准或税务判定标准全国通用，一旦被提取，原先做出该判定的人就不再被需要。
Nikhil 本人也意识到这层张力。他提到 Mercor 内部的战略争论时说，长期来看当 AI 能处理知识劳动，某些领域的岗位数会开始下降，而那些领域大体上正是他们在为之招聘的领域。这等于承认，靠聚集专家生产数据的生意，会抹去它所依赖的那些职业。
所以「领域知识就是护城河」这句常见的安慰只对了一半。更准确地说，领域知识不是个人的护城河，而是组织收回的资产。留下来的是组织内部设定标准的少数位置，而不是按标准执行判定的多数位置。
不被自动化的一层：决定该给什么打分
那是不是什么都不剩？不是。在打分之上还有一层不会被自动化的工作：决定究竟要给什么打分。
在机器学习中这叫目标函数，即定义模型该最大化什么的表达式。是提高准确率还是提高响应速度？哪类失败可以承受，哪类绝对不行？为了安全愿意放弃多少性能？这些选择不会从数据里长出来，必须从外部输入。
verifier 只按给定的目标函数打分，无法选择目标函数本身。这就是自动化的边界线。给出答案会被自动化，给答案打分也会被自动化，但决定什么算正确答案，仍然由人来做。
好奇心与品味是目标函数的两端
前不久我与心理学专业的研究生同学久别重逢，聊到这个话题。其中两位现在是教授，一位在国立大学，一位在美国的大学。从「AI 时代留下什么、该教什么」开始的对话，最后收敛到两个词：好奇心与品味。
梳理下来，两者是同一条轴的两端。选择往哪里看的是好奇心，选择什么算好的是品味。好奇心是起点选择，品味是终点选择。两者都是设定目标函数的行为，所以不被自动化的原因也完全相同。
用强化学习的术语看会更清晰。强化学习中有一对概念：exploitation（利用，使用已知的好招）与 exploration（探索，试探未知）。模型在利用上压倒性地强，只要奖励被定义，最大化它的能力人类追不上。而探索只有在你把「什么是新的、有趣的」定义为奖励之后才运作。虽然存在模仿好奇心的 curiosity-driven exploration 研究，但那也是把新颖性定义为奖励，并非模型自己发明了兴趣。
对品味也可以提出同样的反驳。AI 学习品味的方法早就有了，RLHF 正是如此：让人在 A 与 B 中选出更好的一个，再把模型对齐到那个偏好。所以「品味学不会」是错的。更准确地说，品味被学会的那一刻就变成平均值，而平均品味卖不出价。如今被称为 AI slop 的产物正是那个平均值。品味留下来，不是因为它不可替代，而是因为它一旦被替代，价值就消失了。
为什么现在好奇心的价格特别上涨
好奇心重要，这话很早就有人说。现在变的是它被定价的方式。
过去即使提出问题，找到答案也要花上几周。要翻论文、找人询问、跑实验。所以问题的数量不是瓶颈，处理答案的速度才是。
现在获得答案的成本趋近于零。于是瓶颈从答案移到了问题。知道该问什么的人和不知道的人，产出量迅速拉开。好奇心不再是品性或态度，而成了吞吐量本身。
访谈里有个画面正好说明这点。Nikhil 说他上高中时想进实验物理实验室，就毫无门路地给 200 到 300 位教授发邮件。不出所料，绝大多数拒绝了，正好有一位接受。与那一位的合作后来延伸到半导体纳米键合研究，又做到把血液固化以便用光谱法分析的聚合物涂层研究。上大学后他在七八家创业公司工作过。所谓好奇心不是情绪而是尝试次数，就是这个意思。
教育中的不对称：一个要加，一个不能削
和做教授的同学聊下来，最清晰的正是这一点。好奇心与品味都需要，但培养方式完全相反。
品味是做加法。它靠曝光量、反复判断和反馈累积。必须大量看好的东西，自己判断它为什么好，再确认那个判断是否成立，如此反复才会形成。所以它可以教。
好奇心则是不做减法。孩子们全都带着好奇心出生，问题在于教育把它削掉了。用十几年训练一个人去通过既定的评分表，留下的恰好是 verifier 将会替代的那项能力，而选择该问什么的能力反而萎缩。所以课题与其说是培养，不如说是不破坏。
而且两者不能分开使用。只有好奇心没有品味，最后只剩散漫；只有品味没有好奇心，眼光会老化。不再看新东西的品味，几年内就会变成过时的标准。
难以纯粹乐观的理由
如果就此打住，这会变成一个动听的自我提升故事。有一条必须诚实附上的注脚。
品味是曝光量，而曝光量归根结底是钱和时间。大量看过好东西的人才会有品味。那么品味变得值钱的时代，同时也是阶层再生产的时代。父母买下的经验总量，会直接成为子女的判断标准。
两极分化甚至比受监管的专业领域更严重。四平八稳的产出已经在被挤出，真正值钱的是名字本身已成为信任的少数人。当生产成本降到零，供给就会暴增，那时值钱的不是制作的能力，而是替人挑选的那个人的名字。
而当品味也供过于求，下一个问题就来了：该相信谁的品味？于是需要对品味的品味，这又回到信任与关系的问题上。Nikhil 在访谈最后留下的答案正好在此重叠。当被问到 AGI 之后真正重要的是什么，他回答的不是技术，而是如何构建人的社群，如何培育人与人之间的连接。
那么该做什么
在个人层面，两件事分道扬镳。为通过评分表而做的训练，价值正在迅速下跌。反过来，选择该问什么、判断什么是好的、并为那个判断负责的经验，价值在上涨。留下来的，是你实际跑过多少轮「判断、犯错、确认结果」的循环。
在组织层面，判定履历就是资产。修订后的法规是公开文件，谁都可以拿去训练，但用那套法规实际是怎么判定的，只沉淀在各家公司的系统内部，也就是驳回、扣减与拒付的记录。Nikhil 同样说，善用上下文与企业数据是今年的大主题。
在教育层面，顺序必须改变：减少对准答案的训练，增加自己决定该问什么的训练，以及大量看好东西的时间。而现在的教育，既不给品味所需的时间，又在削减好奇心。