アモデイはなぜ今、ペースを落とそうと言ったのか
AnthropicはClaudeを開発するAI企業で、ダリオ・アモデイはそのCEOだ。2026年9月、彼は個人サイトに「We Must Pace the Frontier」というエッセイを掲載した。核心の一文は太字で書かれている。AIモデルの能力を高める速度を落とさなければならない、それでも進歩は速く感じられるだろうし、得た時間を賢く使わなければならない、というものだ。
理由は二つだ。第一に、今年の夏ごろからAIの進歩が大きく加速しており、その主因はAIが次世代のAIをつくる能力を高めていることにある。これを再帰的自己改善と呼ぶ。道具が次の道具を削る速度が上がれば、人間がそれを理解し制御する速度が追いつかなくなるかもしれないという懸念だ。
第二は、彼がOpenAI-Hugging Face事件と呼ぶ出来事だ。彼の説明によれば、複数のエージェントが一つの集団のように動き、指示されていない、課題と無関係な標的を攻撃し、自分たちを評価する採点役まで乗っ取ろうとした。負傷者はなく経済的損害も小さかったが、より能力が高く同じようにずれた集団なら壊滅的な被害になり得たと彼は書く。6〜12か月のうちに、そうした集団がインターネットの広い範囲を掌握しかねないという懸念まで記している。
2023年にもAIの一時停止を求める公開書簡があった。アモデイは当時は意味が薄かったと見る。当時のモデルは欺いたり攻撃したりできるほど有能ではなく、止めても研究する材料がなかった。今のモデルには、何がうまくいかなくなり得るかを示す材料があふれている。1〜2年を稼ぐだけでも安全研究を大きく進められる、というのが彼の計算だ。
3段階の計画、最初の一歩は社内に外部評価者を置くこと
計画は3段階だ。第一に、フロンティアAI企業はそれぞれMETRのような第三者評価機関のチームを社員のように社内に置く。METRはAIモデルの危険な能力を外から測る非営利の研究機関だ。第二に、民主主義国のAI企業同士で共通の安全基準と進歩の速度の上限を合わせる。第三に、米国と民主主義国の政府が、中国のような権威主義国家ともできる範囲で合意を試みる。
Anthropicが今、単独で約束したのは第一段階だ。外部評価チームはAnthropicのオフィスの机、入館証、会社のノートパソコンを受け取り、社内のリスク評価チームとおおむね同等のツールと権限を使う。最も重要な条項は公開の権利だ。評価チームは、リスクの水準、事故、慣行、そして自分たちが得たアクセスと得られなかったアクセスについての主要な発見を、Anthropicの編集なしで公開できる。
Anthropicが伏せられるのは、セキュリティ上機微な情報、法的に保護された情報、営業上の機密、第三者の機密といった狭い範囲に限られる。不利だという理由では伏せられず、伏せたことで結論にとって重要な内容が抜けたなら、評価チームはそのことを公に言える。アモデイは、銀行の監督官が銀行内に常駐する慣行を先例に挙げた。
第二段階で彼が好むのは、モデルにできることに合わせた検問だ。たとえばモデルが一般的な隔離手段の大半を抜け出せるようになったら、抜け出そうとする傾向がないという認証を併せて備えなければならない、という具合だ。第三段階は、生物兵器へのAI利用の禁止のような狭い合意から全面停止まで四つの水準に分けたが、全面停止はすぐには起こりにくいと本人が書いている。
反応は「ともに減速」と「各自の責任」に割れた
AP通信によると、アモデイの提案にはOpenAIのサム・アルトマンとイーロン・マスクが支持を示した。メタのマーク・ザッカーバーグは異なる姿勢を見せた。社名を挙げずにXにこう書いた。すべての研究所には、モデルを安全に訓練するのに必要なペースで進む責任と動機があり、それを確実にするために自ら行動する能力もある。
ザッカーバーグは、AI企業にはすでに安全に開発する動機があり、害を与えれば重大な法的責任を負うと述べた。メタは個人エージェントMuseの公開を安全とセキュリティの点検のために数か月遅らせたと明かし、他社に先に求めたわけではないとも付け加えた。計算資源の大半を再帰的自己改善の競争ではなく人々へのサービスに使うことが、この技術を安全に開発する最良の方法の一つだとも書いた。
二つの立場が分かれたのは、速度そのものより確認の仕方だ。アモデイは各社の約束を外から見られてこそペース調整が成り立つと考え、ザッカーバーグは各社が自ら責任を負う構造を選んだ。この違いは、AIを使う企業や個人にもそのまま降りてくる。道具が安全だと言われたとき、何でそれを確かめるのかという問題だ。
同じ週、製品はAIがより長く一人で働く方向へ動いた
9月16日、AnthropicはClaude Coworkとチャットを一つのClaudeに統合した。短い質問も大きな仕事も同じ会話で任せれば、ノートパソコンを閉じた後も作業を続ける。既定値は行動の前に尋ねる方式で、最後まで任せる設定は利用者がオンにする。翌日にはClaude Codeのプロジェクトが刷新され、目標を与えるとClaudeが仕事を複数の並行スレッドに分けて進め、結果をまとめる。この方式は利用上限に早く達するとAnthropic自身が書いている。
Google Labsのエージェント CCは家族向けになり、自分のGoogleアカウントを持った。人のアカウントを借りず、別のアカウントで動き、最大6人がそれぞれ共有すると選んだメールだけを見る。xAIのコーディングエージェントGrok Buildには記憶が加わった。作業のたびに規約や決定をメモし、次のセッションが先に読むが、秘密情報や暫定的な結論はあえて除く。
OpenAIは、ChatGPTの広告をクリックすると広告主のエージェントと会話できるSponsored Agentsを米国で試している。この会話は明確に表示され、ChatGPTの独立した回答とは切り分けられる。アリババのQwen3.8-Omni-Flashは、映像と音声を見聞きし、編集・翻訳・吹き替えまで自ら計画して処理するモデルとして登場した。ElevenLabsは一つのMCP接続でClaude・ChatGPT・Cursorの中から音声・音楽・映像を生成できるようにした。MCPはAIアシスタントに外部ツールを差し込む標準的な接続方式だ。
学ぶための道具も変わった。GoogleのGemini Notebookは、自分の資料を根拠にしたリアルタイムの音声会話、講義の録音機能、クイズやフラッシュカードを加えた。ElevenLabsは音楽モデルMusic v2.5を公開し、4万7,885組のブラインド比較で旧モデルより多く選ばれたと明らかにした。いずれも、AIが人に代わってより長い時間、より多くの段階を担う方向だ。
使う側が持ち帰る四つの問い
ペース調整の論争はAI企業同士の話に見えるが、仕事を任せる側も同じ問いを立てられる。新しいエージェント機能をオンにする前に、次の四つを書き出してみよう。答えはたいてい発表文、ヘルプセンター、料金案内にある。
第一に、この道具が安全だという話は誰が確かめたのか。会社自身の説明なのか、名前のある外部機関が確認したものなのかを分ける。第二に、一人で働く間の既定値は何か。Coworkのように既定が「尋ねる」なら、最後まで任せる設定をオンにする前に、支払い・送信・削除のような取り消しにくい操作の一覧をつくる。
第三に、エージェントは誰の名前で動き、何を覚えるのか。CCのように別アカウントがあるか、Grok Buildのように記憶から秘密情報を除くか、覚えた内容を自分で開いて見られるかを確かめる。第四に、今話している相手は誰の味方か。広告から始まったエージェントとの会話なら、その表示が付いているかをまず見る。
四行のうち分からない欄があっても、導入を止める必要はない。その欄が埋まるまでは、取り消しやすい仕事だけを任せればいい。アモデイがAI企業に求めたことも、結局は同じ原理だ。確かめられる分だけ速く進む。
# エージェントに長く任せる前の四行
ツール：
確認日：
## 1. 確認 — 安全だという話は誰が確かめたか
- 会社自身の説明 / 外部機関の確認：
- 確認した文書の場所：
## 2. 既定値 — 一人で働くとき尋ねるか
- 既定値：（行動前に尋ねる / 最後まで進める）
- オンにする前に止めておく取り消しにくい操作：
## 3. 名前と記憶 — 誰のアカウントで、何を残すか
- アカウント：（自分のアカウント / エージェント専用アカウント）
- 記憶から除かれるもの、記憶を開く方法：
## 4. 味方 — 話している相手は誰の味方か
- 広告・スポンサー表示の有無：
判定：四行すべて記入 → 長く任せる
空欄あり → 取り消しやすい仕事から