为什么炫耀的指标从准确率变成了「存活」
在某前沿模型的案例研究中,被强调的指标发生了微妙的变化:不是基准分数,而是在混乱环境中存活的能力。最令人印象深刻的是 Cognition 的证词。一家使用 Devin(世界首个 AI 软件工程师)的银行客户拥有三万名工程师,运行着积累数十年的内部工具。迄今为止,模型在这样的环境中完全崩溃。
新模型的跃迁正来自在这种环境中撑住的能力。Cognition 称之为「survive in these environments」——在层层堆叠遗留代码的真实代码库中不崩溃,从而赢得足够的信任,让客户愿意交付更大的项目。这就是前沿移动的方向。
「回答」与「撑住」有何不同
其余案例基调一致。Cursor 说,过去必须不断推一把模型,而现在只要说一句「去做(go do it)」,模型就能自己抓住一个深层问题一路推进。无需干预地保持航向——这正是短答案与长任务之间的决定性差异。
Base44 更具体。一次系统提示词重写,本需其顶尖三名工程师花上几天,模型运行四小时便交回所需内容的 90~95%。这四小时本身就是指标,因为它衡量的是把一段长时间自主运行推到终点的能力,而非产出一次回应。
法律(Thomson Reuters)与金融(Hebbia)展示了另一条轴。律师要花数天数周的法律书状、必须永远正确的金融数据——他们说,这些需要太多的精确与上下文,用早前的模型无法实现。在「必须永远正确」的领域中撑住,是一种不同于准确率的信任。
企业无法使用 AI 的真正原因是什么
这些案例共同指向一个结论:企业无法正式使用 AI 的真正原因,不是模型不够聪明,而是它承受不住现实的遗留与例外。它早已能很好地解决干净的基准问题,却在纠缠着三十年老旧内部工具与无数例外处理的真实环境中崩溃。
于是前沿的定义发生移动——从「能否回答问题」到「能否在真实工作的混乱中长时间撑住」。一旦这堵墙开始倒下,那些以「模型还不够」为由被搁置的采用讨论,其前提便随之改变。
那么 AX 的瓶颈会移向何处
从 AX(AI 转型)的角度看,这是一个重大信号。瓶颈如今从模型的智能,移向我们如何把组织中混乱的上下文交给模型。如果模型能在环境中存活,剩下的任务就是把那个环境整理成模型可读的形态并交付。
具体而言有三点。其一,整理我们的遗留与例外,使模型能够访问。其二,设计边界与验证点,使一段长时间自主运行可以被安全地委托。其三,在「必须永远正确」的工作中划出界线——多大程度交给模型、在何处由人来核对。等待模型变得更聪明的阶段正在过去。如今,整理我们自身上下文的速度,决定采用的速度。