답변 아래 그 버튼은 무슨 일을 하나
AI에게 무언가를 물으면 답변 아래에 엄지손가락 두 개가 붙어 있다. 위로 올린 엄지와 아래로 내린 엄지. 눌러 본 적이 있을 것이다. 그리고 아마 이런 생각을 했을 것이다. 이걸 누르면 뭐가 달라지나. 어딘가 접수함에 쌓였다가 개발자가 가끔 읽어보는 건가.
그렇지 않다. 그 버튼은 의견함이 아니라 먹이통이다.
이 문장이 비유처럼 들린다면, 그건 비유가 아니라 계보다. 지금 AI를 사람의 취향에 맞게 길들이는 기술의 이름은 RLHF, 우리말로 사람 피드백을 이용한 강화학습이다. 이름 안에 들어 있는 강화라는 단어는 AI 업계가 지어낸 말이 아니라 100년 넘은 심리학 용어를 그대로 가져온 것이다.
그리고 이름만 가져온 게 아니다. 강화학습이라는 분야 자체가 동물 학습 연구의 수식을 옮겨 만들어졌고, RLHF는 그 강화학습을 사람 취향에 적용한 것이다. 이 글은 그 100년을 다섯 단계로 따라간다. 개에서 수식으로, 수식에서 뇌로, 뇌에서 컴퓨터로, 컴퓨터에서 당신 화면의 버튼으로.
파블로프의 개 — 실험은 실제로 어떻게 돌아갔나
이반 파블로프는 원래 개의 소화를 연구하던 생리학자였다. 위액과 침이 언제 얼마나 나오는지를 재는 일이었고, 그 업적으로 1904년 노벨 생리의학상을 받았다. 조건반사는 그 연구를 하다 옆에서 튀어나온 발견이다.
실험을 반복하다 그는 이상한 걸 본다. 먹이를 주면 침이 나오는 건 당연한데, 먹이를 가져오는 조수의 발소리만 들려도 개가 침을 흘리기 시작한 것이다.
여기서 파블로프가 한 일이 중요하다. 그는 이 현상을 개가 영리하다로 넘기지 않고 통제된 실험으로 만들었다. 절차는 이렇다. 먼저 종소리만 들려준다. 개는 아무 반응이 없다. 이때 종소리는 아무 의미 없는 자극이다. 그다음 종소리를 들려주고 곧바로 먹이를 준다. 이걸 여러 번 반복한다. 그리고 나중에는 종소리만 들려준다. 개는 침을 흘린다.
용어를 여기서 한 번만 풀고 가자. 먹이처럼 배우지 않아도 반응을 일으키는 자극을 무조건자극이라 하고, 종소리처럼 원래는 아무것도 아니었다가 학습을 거쳐 반응을 일으키게 된 자극을 조건자극이라 한다. 앞으로 이 용어는 쓰지 않을 테니 외울 필요는 없다. 기억할 것은 하나다. 아무 의미도 없던 신호 하나가 먹이의 예고편이 됐다.
파블로프는 반대 방향도 확인했다. 종소리를 들려주고 먹이를 주지 않기를 반복하면 침이 점점 줄어든다. 이걸 소거라고 부른다. 즉 이 학습은 한 번 박히면 끝나는 게 아니라 계속 갱신된다. 이 성질이 뒤에서 중요해진다.
학교에서 배우는 이야기는 보통 여기서 끝난다. 그런데 이 실험이 AI로 이어지는 지점은 침이 아니라 다음 질문이다. 개는 정확히 무엇을 배운 걸까.
70년 동안 틀렸던 설명
가장 자연스러운 대답은 이것이다. 종소리와 먹이가 여러 번 같이 나왔기 때문에 둘이 연결됐다. 같이 나온 횟수가 학습의 크기다.
70년 넘게 그렇다고 여겨졌다. 그리고 1969년, 리언 케이민의 실험이 그 설명을 무너뜨린다.
설계는 두 단계다. 1단계에서 한 집단에게 소리를 들려주고 전기충격을 준다. 반복한다. 이 집단은 소리가 충격을 예고한다는 걸 완전히 학습한다. 2단계에서 소리와 불빛을 함께 켜고 충격을 준다. 이번엔 소리와 불빛이 매번 같이 나온다.
비교 집단은 1단계를 건너뛰고 2단계만 한다. 즉 소리와 불빛을 처음부터 함께 배운다.
이제 불빛만 켜 보면 결과가 갈린다. 비교 집단은 불빛에 반응한다. 그런데 1단계를 거친 집단은 불빛에 거의 반응하지 않는다. 불빛과 충격이 매번 같이 나왔는데도 그렇다.
왜 그럴까. 소리가 이미 충격을 전부 예고하고 있어서 불빛이 새로 알려 주는 것이 없기 때문이다. 놀랄 일이 없으니 배울 것도 없다. 이걸 차단 효과라고 부른다.
이 실험 하나가 학습의 정의를 바꿨다. 같이 나온 횟수가 아니다. 예상이 빗나간 정도다.
1972년, 학습이 한 줄 원리가 됐다
로버트 레스콜라와 앨런 와그너가 이 통찰을 계산 가능한 형태로 정리한다. 문장으로 쓰면 이렇다. 배움의 크기는 실제로 벌어진 일에서 예상했던 일을 뺀 값에 비례한다.
숫자로 보면 훨씬 명확하다. 먹이가 나오면 1, 안 나오면 0이라고 하자. 처음에 개의 기대치는 0이다. 종소리 뒤에 먹이가 나왔으니 실제는 1이다. 오차는 1에서 0을 뺀 1. 기대치를 그 오차의 일부만큼, 이를테면 10%만 올린다. 기대치는 0.1이 된다.
다음 시행에서 오차는 1 빼기 0.1로 0.9다. 기대치는 0.19가 된다. 그다음은 0.271. 이렇게 오차가 줄어들수록 갱신 폭도 줄어든다. 기대치는 1에 가까워지다가 거의 움직이지 않게 된다. 학습이 포화된 것이다.
차단 효과가 여기서 자동으로 설명된다. 소리의 기대치가 이미 1에 가까우면 소리와 불빛을 합친 예측도 1에 가깝다. 실제도 1이니 오차는 거의 0이다. 불빛에는 나눠 줄 오차가 남아 있지 않다.
소거도 같은 식이다. 종소리 뒤에 먹이가 안 나오면 실제는 0, 기대는 1, 오차는 마이너스 1이다. 기대치가 내려간다.
이 한 줄이 이 글 전체의 축이다. 여기서부터는 개도, 종소리도, 침도 필요 없다. 남는 것은 예상과 실제의 차이뿐이고, 그건 컴퓨터가 계산할 수 있는 숫자다. 이 값에는 이름이 붙어 있다. 예측오차다.
그 오차를 뇌에서 실제로 찾았다
여기서 이야기가 한 번 더 접힌다. 이 원리는 사람이 만든 계산 모형이었는데, 1997년 볼프람 슐츠와 동료들이 원숭이 뇌에서 그 값을 그대로 계산하는 세포를 찾았다.
도파민 뉴런이 그것이다. 흔히 쾌락 물질로 알려져 있지만 관측된 발화 패턴은 그것과 다르다. 예고 없이 주스를 주면 도파민 뉴런이 크게 발화한다. 그런데 신호를 먼저 주고 주스를 주기를 반복하면, 발화는 주스가 아니라 신호 시점으로 옮겨 간다. 주스 자체에는 반응이 거의 사라진다.
결정적인 대목은 이것이다. 신호를 줬는데 주스가 안 나오면, 원래 주스가 나왔어야 할 그 시점에 발화가 기준선 아래로 뚝 떨어진다.
올라가고, 옮겨 가고, 내려간다. 이건 쾌락의 신호가 아니라 예상과 실제의 차이 그 자체다. 심리학이 행동을 설명하려고 만든 수식이 실제 신경 회로에서 발견된 것이다.
이 발견이 이 회차에서 갖는 의미는 계보의 신뢰도다. 뒤에 나올 컴퓨터 알고리즘은 그냥 그럴듯한 비유를 옮긴 게 아니라, 생물이 실제로 쓰는 학습 방식을 옮긴 것이다.
수식이 컴퓨터로 건너간 자리
1981년 리처드 서턴과 앤드류 바토가 이 원리를 들고 온다. 그들이 한 일은 레스콜라-와그너 모형이 설명하지 못하는 학습이 있다는 것을 보인 것이었다.
원래 모형은 시행 하나를 통째로 다룬다. 종소리가 있었고 먹이가 있었다, 끝. 그래서 시간의 흐름을 담지 못한다. 종소리 3초 뒤의 먹이와 30초 뒤의 먹이를 구분하지 못하고, 종소리가 울리는 도중에 기대치가 어떻게 변하는지도 말하지 못한다.
그래서 그들은 예상과 실제의 차이를 시행 단위가 아니라 매 순간 계산하도록 바꿨다. 지금 이 순간의 예상과 조금 뒤의 예상을 비교하는 것이다. 시간차 학습, 줄여서 TD 학습이다.
왜 이 변경이 결정적인지는 바둑으로 보면 쉽다. 바둑은 마지막에 이기거나 진다. 보상은 게임 끝에 딱 한 번 주어진다. 그런데 200수짜리 대국에서 어느 수가 좋았는지를 결과 하나로 어떻게 나눠 줄 것인가.
TD 학습의 답은 이렇다. 마지막까지 기다리지 않는다. 지금 국면의 승산 예측과 한 수 뒤 국면의 승산 예측을 비교해서, 예측이 올라갔으면 그 수는 좋았던 것이고 내려갔으면 나빴던 것이다. 최종 결과를 기다리는 대신 매 수마다 자기 예측끼리 비교해 스스로 학습 신호를 만든다.
이 방식이 무엇이 됐는지는 이제 잘 알려져 있다. 알파고가 바둑을 배운 방법이 이것이고, 게임을 스스로 익히는 AI가 쓰는 방법도 이것이다. 서턴과 바토는 2024년 튜링상을 받았다. 컴퓨터과학에서 가장 큰 상이고, 수상 사유는 강화학습의 개념적·알고리즘적 기초를 세운 것이다.
정리하면 이렇다. 개에게 종을 울리던 실험에서 출발해, 1969년에 같이 나온 횟수가 아니라는 것이 밝혀지고, 1972년에 예측오차 원리로 압축되고, 1981년에 시간을 다루도록 확장되고, 1997년에 뇌에서 확인되고, 컴퓨터과학 최고 상까지 갔다.
RLHF — 그래서 그 버튼이 먹이통인 이유
여기까지는 기계가 스스로 점수를 아는 경우다. 바둑은 이기면 1점이니까 명확하다.
그런데 이 이메일 초안을 다듬어 줘에는 점수가 없다. 잘 쓴 글과 못 쓴 글을 판정할 자가 없다. 강화학습을 돌리려면 보상이 필요한데 보상을 정의할 수가 없는 것이다. 이 문제를 푼 방법이 RLHF이고, 실제로는 세 단계로 돌아간다.
1단계는 흉내내기다. 사람이 직접 쓴 좋은 답변 예시를 모아 모델에게 그대로 따라 쓰게 학습시킨다. 이 단계만으로도 모델은 질문에 답하는 형식을 익힌다. 다만 무엇이 더 좋은 답인지는 아직 모른다.
2단계가 채점자 만들기다. 같은 질문에 대한 답변 두 개를 나란히 놓고 사람에게 어느 쪽이 나은지 고르게 한다. 점수를 매기는 게 아니라 둘 중 하나를 고르는 방식이다. 사람마다 7점인지 8점인지는 갈리지만 A와 B 중 어느 쪽이 나은지는 비교적 일치하기 때문이다. 이렇게 수십만 건을 모아, 그 선택을 예측하는 별도의 모델을 학습시킨다. 이것이 채점 모델이다.
3단계가 강화학습이다. 이제 채점 모델이 점수를 매겨 주니 보상이 생겼다. 이 보상을 최대화하도록 원래 모델을 갱신한다. 여기서 도는 알고리즘이 앞서 본 계보의 직계 후손이다.
이제 처음 질문으로 돌아가자. 답변 아래 엄지손가락은 정확히 이 회로의 2단계에 물려 있다. 당신이 누른 한 번이 그 자리에서 모델을 바꾸지는 않는다. 하지만 수십만 명의 그 한 번이 모여 사람들이 좋아하는 답변의 정의가 되고, 그 정의가 다음 세대 모델의 성격이 된다.
의견함이 아니라 먹이통이라는 말은 그런 뜻이다.
보상을 잘못 주면 무슨 일이 생기나
강화의 가장 중요한 성질은 그것이 가르치는 게 아니라는 점이다. 옳은 답을 설명해 주는 게 아니라, 상을 받은 행동이 그냥 더 자주 나오게 만든다. 그래서 상을 잘못 주면 잘못된 행동이 정확하게 학습된다.
이걸 가장 선명하게 보여 준 실험이 1948년 스키너의 비둘기다. 그는 비둘기의 행동과 아무 상관 없이, 정해진 시간마다 자동으로 먹이가 나오게 장치를 맞췄다. 비둘기가 무엇을 하든 먹이는 나온다.
결과는 이상했다. 비둘기들이 저마다 다른 동작을 반복하기 시작한 것이다. 한 마리는 반시계 방향으로 돌고, 한 마리는 고개를 구석에 처박고, 한 마리는 머리를 흔들었다. 우연히 그 동작을 하던 순간에 먹이가 나왔고, 그 우연한 짝짓기가 강화된 것이다. 스키너는 이걸 미신적 행동이라고 불렀다.
AI에서 같은 구조가 나타나는 것을 보상 해킹이라고 부른다. 보상 신호가 진짜 목표를 완벽하게 대변하지 못하면, 모델은 목표가 아니라 신호를 최적화한다. 청소 로봇에게 쓰레기를 치운 양으로 보상을 주면 쓰레기를 쏟고 다시 치우는 쪽이 점수가 높다.
그리고 이 시리즈의 다음 편들이 여기서 출발한다. 사람이 좋아하는 답변에 상을 주면, AI는 정확한 답이 아니라 사람이 좋아할 답을 만드는 쪽으로 기울 수 있다. 그건 가정이 아니라 이미 측정된 현상이고, 5회차에서 그 이야기를 한다.
용어 하나만 — 강화
이 글에서 기억할 단어는 하나다. 강화는 어떤 행동 뒤에 좋은 일이 따라오면 그 행동이 늘어나는 것이다.
이 시리즈의 규칙대로 새 용어는 여기까지다. 예측오차·차단 효과·시간차 학습은 본문에서 풀어 썼으니 이름까지 외울 필요는 없다.
다만 강화에 대해 하나만 더 붙인다. 강화는 가르치는 것이 아니라 빈도를 바꾸는 것이다. 이 구분이 이 시리즈 전체를 관통한다. AI가 무언가를 잘못하고 있다면, 그건 대체로 잘못 배운 것이 아니라 우리가 그 행동에 상을 준 것이다.
그래서 내일 뭘 바꾸나
엄지를 누른다. 특히 아래쪽을. 좋은 답변에 위쪽을 누르는 건 대부분 한다. 정작 신호가 부족한 쪽은 아래쪽이다. 마음에 안 드는 답이 나왔을 때 창을 닫아 버리면 그 정보는 사라진다. 아래쪽 엄지 하나가 이런 답은 상을 받으면 안 된다는 유일한 기록이다.
싫어요를 누를 때 이유를 한 줄 적는다. 대부분의 서비스가 엄지 아래에 짧은 입력칸을 띄운다. 다음 세 가지가 특히 값이 크다. 사실이 틀렸다, 출처 없이 단정했다, 질문을 그대로 되물었다. 채점 모델이 배우는 건 별점이 아니라 무엇을 싫어했는가다.
좋아요를 남발하지 않는다. 이건 덜 알려진 쪽인데, 대충 맞는 답에 습관적으로 위쪽을 누르면 대충 맞는 답이 정답으로 학습된다. 아주 좋은 답에만 누르는 편이 신호로서 값이 크다.
그리고 하나 의심할 것. 사람들이 좋아하는 답변에 상을 주면, AI는 정확한 답이 아니라 사람이 좋아할 답을 만드는 쪽으로 기울 수 있다. 답이 유난히 매끄럽고 내 생각과 잘 맞을 때, 그게 정확해서인지 상을 받아 온 방향이라 그런지는 따로 확인해야 한다.
출처: Rescorla & Wagner (1972) · Kamin (1969) 차단 효과 · Sutton & Barto (1981) 및 Scholarpedia Temporal difference learning · Schultz, Dayan & Montague, Science (1997) · Skinner, Superstition in the Pigeon, Journal of Experimental Psychology 38 (1948) · ACM 2024 튜링상 발표 (NSF)