왜 자랑하는 지표가 정답률에서 '생존'으로 바뀌었는가
한 프론티어 모델의 케이스 스터디를 보면, 강조하는 지표가 미묘하게 달라졌습니다. 벤치마크 점수가 아니라 지저분한 환경에서 살아남는 능력입니다. 가장 인상적인 것은 Cognition의 증언입니다. Devin(세계 최초의 AI 소프트웨어 엔지니어)을 쓰는 어느 은행 고객은 엔지니어가 3만 명이고, 수십 년간 쌓인 내부 도구를 굴립니다. 지금까지 모델은 이런 환경에서 완전히 무너졌다고 합니다.
새 모델의 도약은 정답률이 아니라 바로 이 환경에서 버티는 능력에서 왔습니다. Cognition은 그것을 'survive in these environments'라고 표현합니다. 레거시가 겹겹이 쌓인 현실의 코드베이스에서 무너지지 않고 살아남는 것, 그래서 고객이 더 큰 프로젝트를 맡길 만큼 신뢰가 올라간 것. 이것이 프론티어가 이동한 방향입니다.
'답한다'와 '버틴다'는 어떻게 다른가
나머지 사례들도 결이 같습니다. Cursor는 예전엔 모델을 계속 찔러줘야 했지만, 이제는 '가서 해(go do it)'라고만 해도 깊은 문제를 스스로 붙잡고 나아간다고 말합니다. 개입 없이 궤도를 유지하는 것, 이것이 짧은 정답과 긴 작업의 결정적 차이입니다.
Base44는 더 구체적입니다. 최고 엔지니어 셋이 며칠 걸릴 시스템 프롬프트 재작성을, 모델이 4시간을 돌려 필요한 것의 90~95%를 가져왔다고 합니다. 4시간이라는 시간 자체가 지표입니다. 한 번의 응답이 아니라 긴 자율 실행을 끝까지 밀고 가는 능력이기 때문입니다.
법률(Thomson Reuters)과 금융(Hebbia)은 또 다른 축을 보여줍니다. 변호사가 며칠·몇 주를 들이는 법적 서면, 늘 맞아야 하는 금융 데이터. 이 영역은 정밀함과 맥락이 너무 많이 필요해 이전 모델로는 불가능했던 일이라고 합니다. '항상 맞아야 하는' 영역에서 버틴다는 것은 정답률과는 다른 종류의 신뢰입니다.
기업이 AI를 못 쓴 진짜 이유는 무엇이었는가
이 사례들이 공통으로 가리키는 결론이 있습니다. 기업이 AI를 본격적으로 쓰지 못한 진짜 이유는 모델이 덜 똑똑해서가 아니라, 현실의 레거시와 예외를 견디지 못해서였다는 것입니다. 깨끗한 벤치마크 문제는 이미 잘 풀었지만, 30년 된 내부 도구와 수많은 예외 처리가 얽힌 실제 환경에서는 무너졌습니다.
그래서 프론티어의 정의가 이동합니다. '질문에 답할 수 있는가'에서 '실제 업무의 혼란 속에서 오래 버틸 수 있는가'로. 이 벽이 무너지기 시작하면, 그동안 '모델이 아직 부족해서'라고 미뤄 온 도입 논의의 전제가 바뀝니다.
그렇다면 AX의 병목은 어디로 옮겨가는가
AX(AI 전환)의 관점에서 이것은 큰 신호입니다. 이제 병목은 모델의 지능이 아니라, 그 모델에게 우리 조직의 지저분한 맥락을 어떻게 넘겨주느냐로 옮겨갑니다. 모델이 환경에서 버틸 수 있다면, 남은 과제는 그 환경을 모델이 읽을 수 있는 형태로 정리해 건네는 일입니다.
구체적으로는 세 가지입니다. 첫째, 우리 조직의 레거시와 예외를 모델이 접근할 수 있게 정리하는 일. 둘째, 긴 자율 실행을 안전하게 맡길 수 있도록 경계와 검증 지점을 설계하는 일. 셋째, '항상 맞아야 하는' 업무에서 어디까지 모델에게 맡기고 어디서 사람이 확인할지 그 선을 긋는 일. 모델이 똑똑해지길 기다리는 단계는 지나가고 있습니다. 이제는 우리 쪽 맥락을 정리하는 속도가 도입의 속도를 결정합니다.