eval과 verifier는 무엇인가
AI 업계에서 요즘 가장 자주 등장하는 단어가 eval과 verifier다. 어려운 말처럼 들리지만 실체는 단순하다. 둘 다 채점표다.
eval(이밸, evaluation의 줄임말)은 시험지에 가깝다. 모델이 얼마나 잘하는지 재기 위해 만든 문제 묶음이다. 예를 들어 '중학교 수학 문제 500개를 풀게 하고 몇 개 맞히는지 센다'가 하나의 eval이다. verifier(베리파이어)는 채점하는 쪽이다. 모델이 내놓은 답이 맞았는지 틀렸는지를 판정하는 장치다.
왜 이게 중요한가. AI 모델을 개선하려면 무엇을 잘하고 무엇을 못하는지 알아야 하는데, 그걸 알려면 채점을 해야 한다. 특히 최근 모델 학습에서 널리 쓰이는 강화학습(RL)은 '답을 내면 채점하고, 잘한 쪽으로 밀어준다'를 수없이 반복하는 방식이다. 채점표가 없으면 학습 자체가 굴러가지 않는다. 그래서 채점표를 만들 수 있는 사람이 곧 돈이 된다.
왜 지금 전문가의 판정 기준이 비싸게 팔리나
노정석·김민석 두 사람이 실리콘밸리 VC Nikhil Suresh를 인터뷰한 영상에서 이 구조가 잘 드러난다. Nikhil은 스탠퍼드에서 수학 학사와 컴퓨터공학 석사를 마치고 Mercor의 초기 엔지니어로 일하다가 지금은 Striker Venture Partners라는 신생 투자사의 파트너로 있다.
Mercor는 이른바 휴먼 데이터 회사다. 각 분야 전문가를 모아 AI 랩이 필요로 하는 데이터와 평가 기준을 만들어 판다. Nikhil은 회사가 15명에서 500명 이상으로 커지는 동안 OpenAI, Anthropic, DeepMind, Meta 같은 주요 랩과 일했다고 말한다.
그가 인터뷰에서 밝힌 핵심 논지는 이렇다. verifier는 자율적으로 생성할 수 없고 특정 업무에 맞는 판정 기준은 사람이 만들어야 하므로, 결국 상당한 가치가 eval과 verifier에 축적될 것이라는 예측이다. 그는 회계법인 같은 버티컬을 골라 그 업무 전체의 eval을 만들고 모델에 학습시킨 뒤 다시 활용하는 그림을 예로 든다.
실제로 시장은 그 방향으로 갔다. 몇 년 전만 해도 '전문가들이 물리·수학 데이터를 다 만들고 나면 이 시장은 1~2년 안에 포화된다'는 예측이 우세했지만, 그 예측은 틀렸고 데이터 지출은 계속 늘고 있다고 그는 말한다. 모델 파라미터가 100억 규모에서 1조, 10조 규모로 커지면서 필요한 데이터의 양도 함께 폭증했기 때문이다.
여기서부터는 내 반론이다: 채점은 자동화된다
Nikhil의 전망은 eval과 verifier에 가치가 쌓인다는 쪽이다. 나는 이 지점에서 다르게 본다. 아래는 그의 주장이 아니라 내 반론이다.
채점 자체가 이미 자동화되고 있다. 모델의 답을 다른 모델이 평가하는 LLM-as-judge 방식이 표준적인 실무가 됐고, 사람이 붙인 선호 대신 모델이 만든 선호로 정렬하는 RLAIF 같은 방법도 자리를 잡았다. 채점하는 일은 판정 규칙이 명시적일수록 기계가 대신하기 쉬운 종류의 일이다.
더 근본적인 문제가 하나 있다. 채점표를 만드는 일은 구조적으로 자기 대체 작업이라는 것이다. 어떤 분야의 판정 기준을 문서와 데이터로 뽑아내는 순간, 그 기준은 복제되고 확산된다. 심사 삭감 기준이나 세무 판정 기준은 전국 어디서나 같은 기준이므로, 한 번 추출되면 그 판정을 하던 사람이 다시 필요하지 않다.
Nikhil 본인도 이 긴장을 알고 있다. 인터뷰에서 그는 Mercor 내부의 전략 논쟁을 언급하며, 장기적으로 AI가 지식 노동을 처리하게 되면 일자리가 줄어들 분야가 있을 텐데 그런 분야는 대체로 자기들이 채용을 지원하던 분야였을 것이라고 말한다. 전문가를 모아 데이터를 만드는 사업이 그 전문가 직군을 지운다는 구조를 인정한 셈이다.
그래서 '도메인 지식이 곧 해자'라는 흔한 위로는 절반만 맞는다. 정확히는 도메인 지식은 개인의 해자가 아니라 조직이 회수해 가는 자산이다. 남는 것은 그 조직 안에서 기준을 정하는 소수의 자리이고, 그 기준대로 판정을 실행하던 다수의 자리가 아니다.
자동화되지 않는 층: 무엇을 채점할지 정하는 일
그렇다면 아무것도 안 남는가. 그렇지 않다. 채점보다 한 층 위에 자동화되지 않는 일이 있다. 무엇을 채점할 것인가를 정하는 일이다.
기계학습에서는 이걸 목적함수(objective function)라고 부른다. 모델이 무엇을 최대화하도록 학습할지 정의하는 수식이다. 정확도를 올릴 것인가 응답 속도를 올릴 것인가, 어떤 종류의 실패는 감수하고 어떤 실패는 절대 안 되는가, 안전을 위해 성능을 얼마나 포기할 것인가. 이 선택은 데이터에서 나오지 않는다. 밖에서 넣어 줘야 한다.
verifier는 주어진 목적함수를 기준으로 채점할 뿐, 목적함수 자체를 고르지 못한다. 이것이 자동화의 경계선이다. 정답을 내는 일도 자동화되고, 정답을 채점하는 일도 자동화되지만, 무엇을 정답으로 삼을지 정하는 일은 여전히 사람이 한다.
호기심과 취향은 목적함수의 양끝이다
얼마 전 심리학과 대학원 동기들을 오랜만에 만나 이 얘기를 했다. 둘은 현직 교수다. 한 명은 국립대에, 한 명은 미국 대학에 있다. AI 시대에 무엇이 남고 무엇을 가르쳐야 하느냐로 시작한 대화가 두 단어로 모였다. 호기심과 취향이다.
정리해 보면 둘은 같은 축의 양끝이다. 어디를 볼지 고르는 것이 호기심이고, 무엇이 좋은지 고르는 것이 취향이다. 호기심은 출발점 선택이고 취향은 도착점 선택이다. 둘 다 목적함수를 정하는 행위라서, 자동화되지 않는 이유도 정확히 같다.
강화학습 용어로 보면 더 선명해진다. 강화학습에는 exploitation(활용, 이미 아는 좋은 수를 쓰는 것)과 exploration(탐색, 모르는 쪽을 찔러 보는 것)이라는 짝이 있다. 모델은 exploitation에 압도적으로 강하다. 보상이 정의돼 있으면 그것을 최대화하는 능력은 사람이 따라갈 수 없다. 반면 exploration은 '무엇이 새롭고 흥미로운가'를 보상으로 정의해 줘야만 작동한다. 호기심을 흉내 내는 curiosity-driven exploration 연구가 있긴 하지만, 그것도 참신함을 보상으로 정의해 준 것이지 모델이 흥미를 스스로 발명한 것이 아니다.
취향에 대해서도 같은 반론이 가능하다. AI가 취향을 학습하는 방법은 이미 있다. RLHF가 정확히 그것이다. A와 B 중 어느 쪽이 나은지 사람이 고르게 해서 모델을 그 선호에 맞추는 방식이다. 그래서 '취향은 학습이 안 된다'는 말은 틀렸다. 정확히는, 학습되는 순간 그 취향은 평균이 되고 평균 취향은 값이 붙지 않는다. 요즘 AI 슬롭이라고 불리는 결과물이 바로 그 평균이다. 취향이 대체 불가라서 남는 것이 아니라, 대체되는 순간 가치가 사라지는 구조라서 남는다.
왜 지금 호기심의 값이 특별히 오르는가
호기심이 중요하다는 말은 예전부터 있었다. 지금 달라진 것은 그 값이 매겨지는 방식이다.
예전에는 질문을 던져도 답을 찾는 데 몇 주가 걸렸다. 논문을 뒤지고 사람을 찾아 묻고 실험을 돌려야 했다. 그래서 질문의 개수는 병목이 아니었다. 답을 처리하는 속도가 병목이었다.
지금은 답을 얻는 비용이 0에 가까워졌다. 그러면 병목이 답에서 질문으로 옮겨간다. 무엇을 물을지 아는 사람의 산출량과 그렇지 않은 사람의 산출량이 벌어진다. 호기심이 인성이나 태도가 아니라 처리량 그 자체가 된 것이다.
인터뷰에 이걸 보여 주는 장면이 있다. Nikhil은 고등학생 때 실험물리 연구실에서 일해 보고 싶어서 교수 200~300명에게 무작정 이메일을 보냈다고 말한다. 예상대로 대부분 거절했고 정확히 한 명이 받아 줬다. 그 한 명과의 연구가 반도체 나노본딩으로 이어졌고, 혈액을 고체화해 분광 분석이 가능하게 하는 폴리머 코팅 연구까지 갔다. 대학에서는 스타트업 일곱 곳에서 여덟 곳쯤 일했다고 한다. 호기심이 감정이 아니라 시도 횟수라는 것이 이런 뜻이다.
교육의 비대칭: 하나는 더해야 하고 하나는 깎지 말아야 한다
교수인 동기들과 얘기하면서 가장 선명해진 부분이 여기다. 호기심과 취향은 둘 다 필요하지만 기르는 방식이 정반대다.
취향은 더하는 일이다. 노출량과 판단 반복과 피드백으로 쌓인다. 좋은 것을 많이 보고, 이게 왜 좋은지 스스로 판단해 보고, 그 판단이 맞았는지 확인하는 과정을 반복해야 생긴다. 그러니 가르칠 수 있다.
호기심은 빼지 않는 일이다. 아이들은 전부 호기심을 갖고 태어난다. 문제는 교육이 그걸 깎아낸다는 데 있다. 주어진 채점표를 통과하는 훈련을 십수 년 시키면, 정확히 verifier가 대체할 그 능력만 남고 무엇을 물을지 고르는 능력은 줄어든다. 그러니 과제는 육성이 아니라 비파괴에 가깝다.
그리고 둘은 따로 쓰지 못한다. 호기심만 있고 취향이 없으면 산만함으로 끝나고, 취향만 있고 호기심이 없으면 안목이 늙는다. 새로 들어오는 것을 안 보는 취향은 몇 년 안에 낡은 기준이 된다.
낙관만 하기 어려운 이유
여기서 멈추면 듣기 좋은 자기계발 이야기가 된다. 정직하게 붙여야 할 단서가 하나 있다.
취향은 노출량이고 노출량은 결국 돈과 시간이다. 좋은 것을 많이 본 사람이 취향을 갖는다. 그러면 취향이 값이 되는 시대는 계층이 재생산되는 시대이기도 하다. 부모가 사 준 경험의 총량이 그대로 자녀의 판단 기준이 된다.
양극화도 규제 전문직보다 오히려 심하다. 무난한 결과물은 이미 밀리는 중이고, 값이 붙는 것은 이름 자체가 신뢰가 된 소수다. 생산 비용이 0이 되면 공급이 폭증하고, 그때 값이 붙는 것은 만드는 능력이 아니라 골라 주는 사람의 이름이다.
그리고 취향이 과잉 공급되면 다음 질문이 생긴다. 누구의 취향을 믿을 것인가. 취향의 취향이 필요해지고, 그건 결국 신뢰와 관계의 문제로 돌아간다. Nikhil이 인터뷰 마지막에 남긴 답이 여기서 겹친다. 그는 AGI 이후 정말 중요해지는 것이 무엇이냐는 질문에 기술이 아니라 사람들의 커뮤니티를 어떻게 만들 것인가, 인간과 인간 사이의 연결을 어떻게 키울 것인가라고 답했다.
그래서 무엇을 할 것인가
개인 차원에서는 두 가지가 갈린다. 채점표를 통과하는 훈련은 이제 값이 빠르게 떨어진다. 반대로 무엇을 물을지 고르고 무엇이 좋은지 판단하고 그 판단에 책임을 지는 경험은 값이 오른다. 판단하고 틀리고 그 결과를 확인하는 사이클을 얼마나 많이 돌렸는지가 남는다.
조직 차원에서는 판정 이력이 자산이다. 개정된 규정은 공개 문서라 누구나 학습시킬 수 있지만, 그 규정으로 실제 어떻게 판정했는가는 각 회사 시스템 안에만 쌓인다. 반려와 삭감과 부지급의 기록이 그것이다. Nikhil도 콘텍스트와 기업 데이터를 활용하는 것이 올해의 큰 주제라고 말한다.
교육 차원에서는 순서가 바뀌어야 한다. 정답을 맞히는 훈련을 줄이고, 무엇을 물을지 스스로 정하는 훈련과 좋은 것을 많이 보는 시간을 늘리는 쪽이다. 지금 교육은 취향에 필요한 시간은 주지 않으면서 호기심은 깎는 방향으로 가고 있다.