なぜ誇る指標が正答率から「生存」へ変わったのか
あるフロンティアモデルのケーススタディを見ると、強調される指標が微妙に変わっています。ベンチマークのスコアではなく、雑然とした環境で生き延びる能力です。最も印象的なのはCognitionの証言です。Devin(世界初のAIソフトウェアエンジニア)を使うある銀行顧客はエンジニアが3万人おり、数十年積み重なった内部ツールを回しています。これまでモデルはこうした環境で完全に崩れてきました。
新しいモデルの飛躍は、まさにこの環境で持ちこたえる能力から来ました。Cognitionはそれを「survive in these environments」と表現します。レガシーが幾重にも積み重なった現実のコードベースで崩れず生き延び、それゆえ顧客がより大きなプロジェクトを任せるほど信頼が高まった。これがフロンティアの移った方向です。
「答える」と「持ちこたえる」はどう違うのか
残りの事例も同じ手触りです。Cursorは、かつてはモデルを何度も小突く必要があったが、いまは「go do it(行ってやれ)」と言うだけで深い問題を自ら掴んで進んでいく、と言います。介入なしに軌道を保つこと——これが短い正答と長い作業の決定的な違いです。
Base44はより具体的です。トップエンジニア3人が数日かかるシステムプロンプトの書き直しを、モデルが4時間回して必要なものの90〜95%を返した、と。この4時間そのものが指標です。一度の応答ではなく、長い自律実行を最後まで押し切る能力を測っているからです。
法務(Thomson Reuters)と金融(Hebbia)は別の軸を示します。弁護士が数日・数週間かける法的書面、常に正しくなければならない金融データ。これらは精密さと文脈が多すぎて、以前のモデルでは不可能だった仕事だと言います。「常に正しくなければならない」領域で持ちこたえることは、正答率とは別種の信頼です。
企業がAIを使えなかった本当の理由は何だったのか
これらの事例が共通して指し示す結論があります。企業がAIを本格的に使えなかった本当の理由は、モデルが賢くなかったからではなく、現実のレガシーと例外に耐えられなかったからだ、ということです。きれいなベンチマーク問題はすでによく解けていたのに、30年物の内部ツールと無数の例外処理が絡む現実の環境では崩れていました。
だからフロンティアの定義が移ります。「質問に答えられるか」から「現実業務の混乱のなかで長く持ちこたえられるか」へ。この壁が崩れ始めると、これまで「モデルがまだ足りないから」と先送りしてきた導入論の前提が変わります。
ではAXのボトルネックはどこへ移るのか
AX(AI転換)の観点で、これは大きなシグナルです。ボトルネックはいまや、モデルの知能ではなく、そのモデルに組織の雑然とした文脈をどう手渡すかへと移ります。モデルが環境で持ちこたえられるなら、残る課題は、その環境をモデルが読める形に整えて渡すことです。
具体的には三つです。第一に、組織のレガシーと例外をモデルがアクセスできるよう整えること。第二に、長い自律実行を安全に委ねられるよう、境界と検証地点を設計すること。第三に、「常に正しくなければならない」業務で、どこまでモデルに任せ、どこで人が確認するか、その線を引くこと。モデルが賢くなるのを待つ段階は過ぎつつあります。いまは、自分たちの側の文脈を整える速度が、導入の速度を決めます。