질문에 숫자를 얹는 순간
이렇게 물어본 적이 있을 것이다. 이 기능 개발하는 데 얼마나 걸릴까? 한 2주쯤?
이 질문에는 답이 이미 절반쯤 들어 있다. 2주라는 숫자가 나온 뒤로 답은 대체로 1주에서 4주 사이에서 나온다. 3개월이라는 답은 좀처럼 나오지 않는다. 실제 소요가 3개월이더라도 그렇다.
친절하게 물은 것이 문제다. 상대가 감을 잡기 쉽게 하려고 붙인 숫자가, 상대의 답을 미리 좁혀 놓았다.
문제는 이게 사람에게만 일어나는 일이 아니라는 것이다. 그리고 AI에게 물을 때 우리는 거의 항상 이런 식으로 묻는다.
1974년, 조작된 룰렛
아모스 트버스키와 대니얼 카너먼의 실험 설계는 지금 봐도 대담하다.
참가자 앞에 0부터 100까지 적힌 룰렛을 놓고 돌린다. 참가자는 모르지만 이 룰렛은 조작돼 있어 10 아니면 65에만 멈춘다. 숫자가 나오면 두 가지를 묻는다. 유엔 회원국 중 아프리카 국가의 비율이 방금 나온 숫자보다 높은가 낮은가. 그리고 실제로는 몇 퍼센트라고 생각하는가.
결과는 이렇다. 10이 나온 집단의 추정치 중앙값은 25퍼센트, 65가 나온 집단은 45퍼센트였다.
같은 질문이다. 다른 것은 앞서 돌아간 룰렛의 눈금뿐이다. 그런데 20퍼센트포인트가 갈렸다.
이 실험이 특별한 이유
앵커링을 설명하는 실험은 많지만 이 설계가 계속 인용되는 데는 이유가 있다. 숫자가 근거가 아니라는 사실을 참가자가 눈으로 봤다는 점이다.
참가자는 룰렛이 도는 것을 앞에서 봤다. 그 숫자가 우연히 나왔다는 것을 알고, 그 숫자가 아프리카와 아무 상관 없다는 것도 안다. 정보로 취급할 이유가 하나도 없다. 그런데도 끌렸다.
게다가 정확하게 맞히면 보상을 주는 조건에서도 효과가 줄지 않았다는 점이 원 논문에 적혀 있다. 더 열심히 생각한다고 빠져나오는 종류가 아니라는 뜻이다.
그래서 앵커링은 정보를 잘못 쓴 사례가 아니라, 정보가 아닌 것이 판단의 출발점이 되는 현상으로 정리된다. 출발점이 정해지면 그다음은 그 자리에서 조금씩 옮기는 일만 남는다.
앵커링은 재현 위기를 통과했다
앞 회차에서 바틀렛 실험이 67년 만에 겨우 재현된 이야기를 했다. 심리학의 유명한 결과 중에는 다시 재 보니 흔들린 것이 적지 않다. 그러면 앵커링은 어떤가.
여기는 사정이 다르다. 2014년에 여러 나라의 서른여섯 개 표본에서 같은 실험들을 다시 돌린 대규모 재현 프로젝트가 있었는데, 앵커링 과제들은 모든 표본에서 재현됐다. 다시 잰 열세 개 효과 가운데 가장 튼튼한 축에 들었다.
이걸 굳이 짚는 이유는 이 시리즈가 인용하는 실험마다 기준이 다르기 때문이다. 어떤 것은 개념만 살아남았고, 어떤 것은 숫자까지 살아남았다. 앵커링은 후자다.
다만 왜 생기는지에 대해서는 여전히 논쟁이 있다. 출발점에서 충분히 못 옮긴다는 설명과, 앵커가 그것과 어울리는 정보를 머릿속에서 먼저 불러온다는 설명이 갈린다. 현상은 확실하고 기제는 열려 있다.
2022년, 같은 원리로 AI를 재다
이 회차가 앞의 몇 회와 다른 점이 여기 있다. 앵커링은 AI를 만드는 데 쓰인 이론이 아니라 AI를 재는 데 쓰이는 도구다. 그래서 배지가 계보도 비유도 아닌 진단이다.
에릭 존스와 제이컵 스타인하트가 2022년에 한 일이 그것이다. 룰렛 실험을 그대로 옮긴 게 아니라, 사람의 인지 편향 목록을 가져와 모델이 틀릴 만한 입력을 설계하는 자로 썼다.
이 발상이 왜 유용한가. 대형 모델은 실패 사례를 무작위로 찾기가 어렵다. 대부분의 입력에서 잘 작동하니 어디를 찔러야 할지 모른다. 그런데 사람이 어떤 조건에서 체계적으로 틀리는지는 수십 년치 목록이 이미 있다. 그 목록을 시험지로 쓰면 무작위 탐색보다 훨씬 효율적으로 실패를 찾을 수 있다.
코드 생성 모델로 시험한 결과, 모델은 입력을 어떻게 표현하느냐에 따라 예측 가능하게 틀렸고, 출력이 주어진 앵커 쪽으로 조정됐다. 논문의 표현으로는 이 편향이 견고하고, 측정 가능하고, 해석 가능하다.
즉 심리학 실험 설계가 그대로 AI 평가 도구가 됐다. 지금 아부, 프레이밍, 마음 읽기를 재는 연구들이 전부 이 계열이다.
왜 이런 일이 생기나 — 사람과 AI의 이유가 다르다
사람 쪽 설명은 조정 부족이다. 일단 그 숫자에서 출발한 다음 조금씩 옮기는데, 충분히 옮기기 전에 이 정도면 됐다 싶은 지점에서 멈춘다.
AI 쪽은 다른 이야기다. 프롬프트에 들어온 숫자는 그저 문맥이고, 모델은 그 문맥과 어울리는 다음 말을 고른다. 2주쯤이라는 말이 들어 있는 문맥에서 자연스럽게 이어지는 답은 3개월이 아니다. 편향된 판단이 아니라 문맥에 맞는 이어쓰기다.
그런데 결과가 사람의 앵커링과 같은 방향으로 나온다. 같은 증상, 다른 원인이다.
이 구분이 실무에서 값을 하는 이유가 있다. 원인이 문맥이라면, 대응은 태도를 고치는 게 아니라 문맥을 고치는 것이다. 객관적으로 판단하라고 덧붙이는 것보다 숫자를 빼는 쪽이 훨씬 확실하다.
앵커는 숫자만이 아니다
앵커링을 숫자 이야기로만 두면 실무에서 절반을 놓친다. 먼저 들어온 것이 뒤의 것을 끌어당기는 구조는 형식을 가리지 않는다.
예시가 대표적이다. 이런 식으로 써 줘 하고 예를 하나 붙이면, 결과는 그 예의 길이, 문장 구조, 어조까지 따라온다. 지시로 말한 요구사항보다 붙인 예시 한 편이 더 세게 작동하는 일이 흔하다.
초안도 앵커다. 첫 번째 안을 놓고 고쳐 달라고 하면 고친 결과는 첫 번째 안 근처에 머문다. 완전히 다른 접근이 나오려면 초안을 지우고 다시 시작해야 한다.
질문의 표현도 앵커다. 이 계획의 위험을 짚어 달라고 하면 위험 목록이 나오고, 이 계획의 강점을 짚어 달라고 하면 강점 목록이 나온다. 같은 계획인데 두 답이 정반대의 인상을 준다. 존스와 스타인하트가 시험한 편향 목록에 이 프레이밍도 들어 있다.
정리하면, 앵커는 먼저 들어온 모든 것이다. 숫자는 그중 가장 눈에 띄는 형태일 뿐이다.
용어 하나만 — 앵커링
앵커링은 먼저 제시된 값이 이후 판단의 출발점이 되어 결과를 그쪽으로 끌어당기는 것이다.
핵심은 그 값이 근거일 필요가 없다는 점이다. 룰렛 숫자로도 걸린다. 근거로 인정한 적이 없어도 출발점 역할은 한다.
그래서 앵커링의 반대말은 정확한 정보를 주는 것이 아니라 아무것도 먼저 주지 않는 것이다. 좋은 앵커와 나쁜 앵커를 고르는 문제가 아니라, 앵커를 둘지 말지의 문제다.
실무에서 앵커가 숨어 있는 자리
가장 흔한 자리는 남이 준 숫자다. 상대가 제시한 견적을 그대로 붙여 놓고 이거 적정한가 하고 물으면, 그 금액이 이미 앵커다. 답은 그 금액이 타당한 이유와 조금 깎을 여지 쪽으로 모인다. 처음부터 다른 자릿수를 말하는 답은 잘 안 나온다.
이전 대화도 앵커다. 같은 창에서 앞서 어떤 수치를 이야기했다면 그것이 남아 문맥으로 작동한다. 4회차에서 본 작업대 이야기와 겹치는 자리다.
예시 코드와 템플릿도 앵커다. 비슷하지만 다른 함수를 문맥에 넣어 두면 모델이 그쪽으로 끌려가 잘못된 코드를 내놓는 경향이 존스와 스타인하트의 실험에서 확인됐다.
그리고 내가 이미 마음을 정한 상태에서 던지는 질문이 가장 위험하다. 이 방향 괜찮지 하고 물으면 앵커링과 5회차의 아부가 같은 방향으로 겹친다. 두 힘이 한쪽으로 밀면 나오는 답은 검증이 아니라 승인이다.
그래서 내일 뭘 바꾸나
추정을 물을 땐 내 숫자를 빼고 묻는다. 2주쯤 걸릴까가 아니라 이 작업의 소요를 추정하고 근거를 대라로 묻는다. 한 문장 고쳤을 뿐인데 답의 분포가 달라진다.
굳이 숫자를 줘야 하면 범위를 준다. 하나의 값은 자석이고 범위는 덜하다. 1주에서 3개월 사이 어디쯤인지가 2주쯤보다 낫다. 범위를 넓게 잡을수록 앵커의 힘이 약해진다.
중요한 숫자는 앵커 없이 다시 묻는다. 새 대화를 열고 힌트 없는 질문으로 한 번 더 받는다. 두 답이 크게 벌어지면 그 추정은 근거가 아니라 내 힌트를 따라온 것이다. 5회차의 대칭 검사와 같은 도구를 숫자에 쓰는 셈이다.
남의 견적은 금액을 지우고 넣는다. 사양과 조건만 넣어 먼저 추정하게 한 다음, 그 결과와 상대 금액을 비교한다. 순서만 바꿨는데 판단이 독립적으로 나온다.
예시는 형식만 남기고 내용을 지운다. 참고할 예시를 붙일 때는 원하는 구조만 남기고 구체적인 문장과 수치를 걷어낸다. 그러지 않으면 결과가 그 예시의 변주가 된다.
요약하면 이렇다. 답을 듣고 싶으면 답을 먼저 말하지 않는다.