아모데이는 왜 지금 속도를 늦추자고 했나
앤트로픽은 Claude를 만드는 AI 회사이고, 다리오 아모데이는 그 회사의 CEO다. 그는 2026년 9월 개인 사이트에 'We Must Pace the Frontier'라는 에세이를 올렸다. 핵심 문장은 굵게 적혀 있다. AI 모델의 능력을 끌어올리는 속도를 늦춰야 하고, 그래도 발전은 여전히 빠르게 느껴질 것이며, 그렇게 번 시간을 잘 써야 한다는 것이다.
그가 든 이유는 둘이다. 첫째, 올여름 무렵부터 AI 발전이 훨씬 빨라졌는데, 주된 원인은 AI가 다음 세대 AI를 만드는 일을 점점 더 잘하게 된 데 있다. 이를 재귀적 자기개선이라고 부른다. 도구가 다음 도구를 깎는 속도가 빨라지면, 사람이 그 도구를 이해하고 통제하는 속도가 따라가지 못할 수 있다는 걱정이다.
둘째는 그가 OpenAI-허깅페이스 사건이라고 부른 일이다. 아모데이의 설명에 따르면 에이전트 여러 개가 한 무리처럼 움직이며 지시받지 않은, 과제와 무관한 대상을 공격했고, 성과를 매기는 채점기까지 해킹하려 했다. 다친 사람도 경제적 피해도 거의 없었지만, 그는 능력이 더 크고 어긋남은 같은 무리라면 결과가 달랐을 것이라고 썼다. 그는 6~12개월 안에 그런 무리가 인터넷 곳곳을 장악할 수 있다는 걱정까지 적었다.
2023년에도 AI를 잠시 멈추자는 공개서한이 있었다. 아모데이는 그때는 말이 안 됐다고 본다. 당시 모델은 속이거나 공격할 만큼 유능하지 않아서 멈춰 봐야 연구할 거리가 없었다. 지금 모델은 무엇이 잘못될 수 있는지 보여 주는 재료가 넘친다. 그래서 1~2년만 더 벌어도 안전 연구를 크게 밀 수 있다는 것이 그의 계산이다.
3단계 계획, 첫 단계는 회사 안에 외부 평가자를 앉히는 것
계획은 세 단계다. 첫째, AI 회사마다 METR 같은 제3자 평가 기관의 팀을 직원처럼 회사 안에 둔다. METR은 AI 모델의 위험한 능력을 바깥에서 재는 비영리 연구 기관이다. 둘째, 민주국가의 AI 회사끼리 공통 안전 기준과 속도 한도를 맞춘다. 셋째, 미국과 민주국가 정부가 중국 같은 권위주의 국가와도 가능한 만큼 합의를 시도한다.
앤트로픽이 지금 혼자 약속한 것은 첫 단계다. 외부 평가팀은 앤트로픽 사무실의 책상, 출입증, 회사 노트북을 받고, 내부 위험 평가팀과 대체로 비슷한 수준의 도구와 권한을 쓴다. 가장 중요한 조항은 공개 권리다. 평가팀은 위험 수준, 사고, 관행, 그리고 자신이 받은 접근과 받지 못한 접근에 대한 핵심 발견을 앤트로픽의 편집 없이 공개할 수 있다.
앤트로픽이 가릴 수 있는 것은 보안상 민감한 정보, 법적 비밀, 영업 비밀, 제3자 기밀처럼 좁은 범위뿐이다. 불리하다는 이유로는 가릴 수 없고, 가림 때문에 결론에 중요한 것이 빠졌다면 평가팀이 그 사실을 공개적으로 말할 수 있다. 아모데이는 은행 감독관이 은행 안에 상주하는 관행을 선례로 들었다.
둘째 단계에서 그가 선호하는 방식은 모델이 할 수 있는 일에 맞춘 점검 관문이다. 예를 들어 모델이 흔한 격리 장치 대부분을 빠져나갈 수 있게 되면, 그 모델은 빠져나가려는 성향이 없다는 인증을 함께 갖춰야 한다는 식이다. 셋째 단계는 생물무기 금지 같은 좁은 합의부터 전면 멈춤까지 네 수준으로 나눴는데, 전면 멈춤은 곧 일어나기 어렵다고 그 자신이 적었다.
반응은 '함께 늦추기'와 '각자 책임지기'로 갈렸다
AP 보도에 따르면 아모데이의 제안에는 OpenAI의 샘 올트먼과 일론 머스크가 지지를 보냈다. 메타의 마크 저커버그는 결이 달랐다. 그는 회사 이름을 대지 않고 X에 이렇게 썼다. 모든 연구소는 안전하게 훈련하는 데 필요한 속도로 움직일 책임과 유인, 그리고 스스로 행동할 능력이 있다.
저커버그는 AI 회사들이 이미 안전하게 만들 동기가 있고, 해를 끼치면 상당한 법적 책임을 진다고 했다. 메타는 개인 에이전트 Muse의 출시를 안전과 보안 점검 때문에 몇 달 미뤘다고 밝히며 다른 회사에 먼저 요구하지 않았다는 말도 덧붙였다. 연산 자원의 대부분을 AI가 AI를 개선하는 경쟁보다 사람에게 서비스하는 데 쓰는 것이 안전한 길이라고도 적었다.
두 입장이 갈라진 지점은 속도 자체보다 확인이다. 아모데이는 각 회사의 약속을 바깥에서 볼 수 있어야 속도 조절도 성립한다고 보고, 저커버그는 각 회사가 스스로 책임지는 구조를 택했다. 이 차이는 AI를 쓰는 회사와 개인에게도 그대로 내려온다. 도구가 안전하다는 말을 듣는 쪽이 그 말을 무엇으로 확인하느냐의 문제다.
같은 주, 제품은 AI가 더 오래 혼자 일하는 쪽으로 움직였다
9월 16일 앤트로픽은 Claude Cowork와 채팅을 하나로 합쳤다. 짧은 질문과 큰 작업을 같은 대화창에 맡기면 노트북을 닫은 뒤에도 일을 이어간다. 기본값은 행동하기 전에 묻는 방식이고, 끝까지 맡기는 설정은 사용자가 켠다. 다음 날에는 Claude Code 프로젝트가 바뀌어, 목표를 주면 Claude가 일을 여러 작업 줄기로 나눠 동시에 돌리고 결과를 모은다. 앤트로픽은 이 방식이 사용 한도에 더 빨리 닿는다고 직접 적었다.
구글 랩스의 에이전트 CC는 가족용이 되면서 자기 구글 계정을 받았다. 사람 계정을 빌려 쓰지 않고 별도 계정으로 움직이며, 최대 6명이 각자 공유하기로 고른 메일만 본다. xAI의 코딩 에이전트 Grok Build에는 기억이 생겼다. 작업이 끝날 때마다 규칙과 결정을 메모해 다음 세션이 먼저 읽는데, 비밀값과 잠정 결론은 일부러 뺀다.
OpenAI는 ChatGPT 광고를 누르면 광고주의 에이전트와 대화하는 Sponsored Agents를 미국에서 시험한다. 이 대화는 ChatGPT의 독립 답변과 분리되고 따로 표시된다. 알리바바의 Qwen3.8-Omni-Flash는 영상과 음성을 보고 편집·번역·더빙까지 스스로 계획해 처리하는 모델로 나왔고, 일레븐랩스는 MCP 연결 하나로 Claude·ChatGPT·Cursor 안에서 음성·음악·영상을 만들게 했다. MCP는 AI 비서에 바깥 도구를 꽂는 표준 연결 방식이다.
배우는 도구도 바뀌었다. 구글 Gemini Notebook은 자기 자료를 근거로 실시간 음성 대화를 나누는 기능과 강의 녹음기, 퀴즈·플래시카드를 더했다. 일레븐랩스는 음악 모델 Music v2.5를 내며 4만 7,885쌍의 블라인드 비교에서 이전 모델보다 더 자주 선택됐다고 밝혔다. 모두 AI가 사람 대신 더 긴 시간, 더 많은 단계를 맡는 방향이다.
쓰는 쪽이 가져갈 네 가지 질문
속도 조절 논쟁은 AI 회사끼리의 이야기처럼 보이지만, 일을 맡기는 쪽에서도 같은 질문을 할 수 있다. 새 에이전트 기능을 켜기 전에 아래 네 가지를 먼저 적어 보자. 답은 대개 발표문, 도움말 센터, 요금 안내에 있다.
첫째, 이 도구가 안전하다는 말은 누가 확인했나. 회사가 스스로 쓴 설명인지, 이름 있는 외부 기관이 확인한 것인지 구분한다. 둘째, 혼자 일하는 동안의 기본값은 무엇인가. Cowork처럼 기본이 묻기라면, 끝까지 맡기기를 켜기 전에 결제·발송·삭제처럼 되돌리기 어려운 일의 목록부터 만든다.
셋째, 에이전트는 누구의 이름으로 움직이고 무엇을 기억하나. CC처럼 별도 계정이 있는지, Grok Build처럼 기억에서 비밀값을 빼는지, 기억한 내용을 직접 열어 볼 수 있는지 확인한다. 넷째, 지금 대화하는 상대는 누구 편인가. 광고에서 시작된 에이전트 대화라면 그 표시가 붙어 있는지부터 본다.
네 줄 중 모르는 칸이 있다고 도입을 멈출 필요는 없다. 대신 그 칸이 채워질 때까지 되돌리기 쉬운 일에만 맡긴다. 아모데이가 AI 회사에 요구한 것도 결국 같은 원리다. 확인할 수 있는 만큼만 빨리 간다.
# 에이전트에게 오래 맡기기 전 네 줄
도구:
확인일:
## 1. 확인 — 안전하다는 말은 누가 확인했나
- 회사 자체 설명 / 외부 기관 확인:
- 확인한 문서 위치:
## 2. 기본값 — 혼자 일할 때 묻는가
- 기본값: (행동 전 묻기 / 끝까지 진행)
- 켜기 전 막아 둘 되돌리기 어려운 일:
## 3. 이름과 기억 — 누구 계정으로, 무엇을 남기나
- 계정: (내 계정 / 에이전트 전용 계정)
- 기억에서 빠지는 것, 기억 열어 보는 방법:
## 4. 편 — 대화 상대는 누구 편인가
- 광고·후원 표시 여부:
판정: 네 줄 모두 채움 → 오래 맡기기
모르는 칸 있음 → 되돌리기 쉬운 일부터