Vercelの実験の結果はどうだったのか
Vercelは、AIに最新の知識を与える二つの方式を同じ試験で競わせました。一つは必要なときに取り出す専門マニュアルの束であるSkill、もう一つはプロジェクトフォルダに常に広げられた一枚のテキストAGENTS.mdです。問題はわざと難しく、学習の締め切り以降に出た新機能だけで作りました。
点数がすべてを物語ります。何の支援もない素の状態が53点、Skillを与えて自由に使わせても同じ53点、必ず使えと強く指示すると79点、そしてAGENTS.mdは100点でした。ビルドも検査もテストもすべて満点です。精巧な方式が無骨な方式に負けたのです。
Skillはなぜ負けたのか
第一に、AIがマニュアルを開きませんでした。マニュアルがあると知っていながら、十回のうち約六回はそのまま素通りしました。あるのは知っていても、昔に覚えた知識で仕事をしてしまうので間違えます。
第二に、Skillはあまりに敏感でした。「まずマニュアルを見よ」と「まずプロジェクトを見て、それからマニュアルを見よ」のように語順を変えただけで点数が揺れました。指示を非常に正確に出さなければ、いつ狂うか分からないということです。
AGENTS.mdはなぜ勝ったのか
理由は意外なほど単純です。AIに選択をさせなかったのです。Skillは毎瞬間、今取り出すべきか否かを悩まねばならず、その悩む地点こそがミスの噴き出す場所です。AGENTS.mdはすでに目の前にあるので、取り出すか否か、いつ見るか、どの順で見るかを悩む必要がありません。
選択させれば間違え、選択させなければ間違えません。私たちはより賢いツールを付ければ良くなると信じますが、ツールが賢いほど、使うか否かを測っている間にAIはつまずきます。むしろ情報を常に目の前に広げておくほうがよいのです。
ではSkillはいつ使うのか
Skillが死んだわけではありません。プロジェクトを丸ごと新バージョンへ移行する、全体構造を作り替えるといった、自分が時点を定めて能動的に呼び出す大きな作業には、Skillがうってつけです。
つまり、どちらか一方ではありません。日々の基礎知識はAGENTS.mdで常に広げておき、特別な大仕事はその都度Skillで呼び出す。この分業こそが答えです。
実務にどう適用するのか
プロジェクトの最上位フォルダにAGENTS.mdを一つ作り、長々と書かず、目次のように核心だけを短く記します。Vercelは実際に文書を40kから8kへ、80%も圧縮しましたが、点数は100点のままでした。全文ではなく目次だけを残したほうが、かえって整然としていたのです。
そして文書の最上部に、この一行を必ず入れます。覚えた知識ではなく、この文書をまず見て判断せよ。AIはとかく古い記憶で仕事をしようとしますが、この一文がそれを止めます。100点と53点を分けたのは、まさにこの一行です。