AI 역사에서 자주 빠지는 한 줄
딥러닝 이야기는 보통 이렇게 시작한다. 컴퓨터가 빨라지고 데이터가 많아지자 신경망이 살아났다.
틀린 말은 아니다. 다만 이 이야기에는 앞부분이 통째로 빠져 있다. 신경망이 왜 하필 그런 모양인지, 왜 학습이라는 말을 쓰는지, 왜 하나의 정답을 어딘가에 저장하는 대신 수많은 연결의 세기를 조금씩 고치는지. 그 설계 의도는 컴퓨터 쪽에서 나온 게 아니다.
지금 우리가 쓰는 모델의 골격은 1949년의 한 문장에서 출발해 1986년의 한 연구 프로젝트에서 완성됐다. 그 프로젝트를 이끈 두 사람의 소속 학과는 컴퓨터공학과가 아니었다. 심리학과였다.
1949년, 심리학자가 쓴 한 문장
도널드 헵은 캐나다 맥길대학의 심리학자였다. 그가 1949년에 낸 책 행동의 조직에서 제시한 생각은 이렇게 요약된다. 두 신경세포가 반복해서 함께 활동하면, 그 둘 사이의 연결이 강해진다.
한 문장이라 시시해 보이지만, 이 문장은 기억이 어디에 있느냐는 질문의 답을 통째로 갈아치웠다. 그전까지 기억은 어딘가에 저장된 물건에 가까웠다. 서랍이 있고, 거기 내용물이 들어 있고, 꺼내 쓰는 것이다. 헵의 제안은 반대였다. 기억은 장소가 아니라 세기다. 어느 서랍에 들어 있는 게 아니라, 세포와 세포 사이 연결이 얼마나 강한가에 퍼져 있다.
헵은 여기서 한 걸음 더 나갔다. 함께 자주 발화하는 세포들이 서로 강하게 묶여 하나의 묶음처럼 행동하게 된다고 봤고, 그걸 세포 집합체라고 불렀다. 개념 하나가 세포 하나에 대응하는 게 아니라, 세포 여럿이 함께 켜지는 패턴에 대응한다는 것이다.
지금 신경망이 하는 학습은 정확히 이 두 가지다. 숫자로 된 연결 세기를 조금씩 고치는 일, 그리고 개념 하나를 뉴런 하나가 아니라 여러 뉴런의 활성 패턴으로 표현하는 일. 반세기 넘게 지난 지금도 이 골격은 그대로다.
가장 유명한 인용문은 헵의 말이 아니다
헵의 이론은 보통 이 네 단어로 인용된다. 함께 발화하는 세포는 함께 연결된다.
그런데 이 문장은 헵이 쓴 게 아니다. 신경과학자 칼라 섀츠가 1992년 사이언티픽 아메리칸 기고문에서 헵의 원리를 요약하며 만든 표현이고, 본인이 그렇게 밝혔다. 헵의 원문은 훨씬 길고 조심스럽다. 세포 A의 축삭이 세포 B를 흥분시킬 만큼 가깝고 반복적으로 그 발화에 관여하면, 두 세포 중 하나 또는 둘 모두에서 어떤 성장 과정이나 대사 변화가 일어나 A의 효율이 증가한다는 식이다.
굳이 짚는 이유가 있다. 이 시리즈의 목적이 심리학과 AI 사이에 실제로 있는 연결선만 남기고 나머지는 걷어내는 것이기 때문이다. 이론은 헵의 것이 맞고, 그 이론이 신경망의 학습 규칙으로 이어진 것도 맞다. 다만 그 유명한 네 단어는 43년 뒤에 다른 사람이 붙인 요약이다. 인용할 때 출처를 바꿔 달아야 한다.
1958년, 그 생각이 실제 기계가 됐다
1958년 프랭크 로젠블랫이 퍼셉트론을 만든다. 헵의 아이디어를 회로로 옮긴 첫 기계였다.
지금 감각으로는 상상하기 어려운 물건이었다. 코넬 항공연구소에 설치된 마크 1 퍼셉트론은 소프트웨어가 아니라 방을 채우는 하드웨어였다. 가로세로 20개씩 배치된 광전지 400개가 눈 역할을 했고, 연결 세기는 숫자가 아니라 가변저항기의 손잡이 위치였다. 학습이란 전기 모터가 그 손잡이를 실제로 돌리는 일이었다.
당시 보도는 뜨거웠다. 뉴욕 타임스는 이 기계를 걷고 말하고 보고 쓰고 스스로를 복제하며 자기 존재를 의식하게 될 컴퓨터의 배아라고 전했다. 데모는 단순한 도형 분류였는데, 기대는 인간 수준이었다.
이 격차가 나중에 비쌌다. 실제 성능과 기대 사이의 거리는 기술적 한계가 드러나는 순간 그대로 실망의 크기가 된다.
한 층으로는 못 푸는 아주 쉬운 문제
1969년 마빈 민스키와 시모어 페퍼트가 퍼셉트론이라는 책을 낸다. 거기서 지적된 것은 한 층짜리 퍼셉트론이 아주 단순해 보이는 문제를 못 푼다는 사실이었다.
그 문제를 계단 스위치로 설명할 수 있다. 계단 위와 아래에 스위치가 하나씩 있고 전등은 하나다. 어느 쪽 스위치를 눌러도 불이 켜지거나 꺼진다. 둘 다 올려도 꺼지고, 둘 다 내려도 꺼지고, 하나만 올렸을 때만 켜진다. 입력 두 개 중 정확히 하나만 참일 때 참이 되는 이 조건을 배타적 논리합이라고 부른다.
종이에 네 경우를 점으로 찍어 보면 문제가 보인다. 켜지는 두 점과 꺼지는 두 점이 대각선으로 엇갈려 있어서, 직선 하나로는 두 무리를 가를 수 없다. 그런데 한 층짜리 퍼셉트론이 그을 수 있는 경계는 정확히 직선 하나다.
이건 튜닝으로 해결되는 종류가 아니다. 데이터를 더 주거나 학습을 더 돌린다고 되는 게 아니라 구조가 못 하는 일이다. 여러 층을 쌓으면 곡선 경계를 만들 수 있다는 건 그때도 알았다. 문제는 다른 데 있었다.
여러 층을 어떻게 학습시키나
한 층짜리는 학습이 쉽다. 답이 틀렸으면 입력과 정답을 보고 그 층의 연결 세기를 바로 고치면 된다. 잘못을 누가 저질렀는지가 분명하다.
층이 셋이 되면 사정이 달라진다. 마지막 답이 틀렸을 때, 첫 번째 층 어느 연결이 얼마나 잘못한 것인지 알 수가 없다. 중간층은 정답이 무엇이었어야 하는지조차 정해져 있지 않다. 이걸 공로 배분 문제라고 부른다. 최종 결과 하나를 보고 그 결과에 기여한 수많은 부품에게 책임을 나눠 주는 일이다.
역전파가 푸는 게 이 문제다. 방식은 이렇다. 먼저 맨 끝에서 정답과 실제 답 사이 오차를 잰다. 그다음 마지막 층의 연결마다 이 연결을 아주 조금 키우면 오차가 늘어나는가 줄어드는가를 계산한다. 그 정보를 한 층 아래로 넘겨 아래층 연결들의 책임 몫을 구하고, 다시 그 아래로 넘긴다. 오차를 입력 방향으로 거꾸로 흘려보내는 것이라 역전파다.
각 연결은 자기 몫만큼만 아주 조금 움직인다. 한 번에 크게 고치지 않는 이유는 방금 본 예시 하나가 전체를 대표하지 않기 때문이다. 이 작은 수정을 수백만 번 반복하면 전체가 서서히 정답 쪽으로 자리를 잡는다.
역전파는 1986년에 발명된 게 아니다. 같은 계산은 폴 워보스가 1974년 하버드 박사논문에서 이미 제시했다. 그때는 널리 알려지지 않았다.
1986년, PDP — 그런데 이건 심리학 프로젝트였다
그 자물쇠를 실제로 연 것이 1986년의 PDP다. 병렬 분산 처리라는 제목의 두 권짜리 책이자, 여러 연구자가 함께 붙은 프로젝트의 이름이다. 여기서 다층 신경망을 역전파로 실제 학습시킬 수 있다는 것이 설득력 있게 제시됐고, 같은 해 네이처에 실린 논문이 그 결과를 학계 전체에 알렸다.
여기서 이 회차의 요점이 나온다. PDP를 이끈 두 사람이 심리학자였다.
데이비드 루멜하트는 UC 샌디에이고 심리학과 교수였고 나중에 스탠퍼드로 옮겼다. 제임스 매클렐런드는 당시 카네기멜런 심리학과 교수였다. 1984년에 UC 샌디에이고에서 옮겼고, 스탠퍼드행은 2006년이다.
이게 우연한 소속이 아니라는 증거는 결과물 자체에 있다. 두 권짜리 책의 2권 부제가 심리학 및 생물학 모형이다. 그리고 두 사람은 이 업적으로 2002년 그로마이어 심리학상을 받았다. 컴퓨터과학상이 아니라 심리학상이다.
즉 지금 딥러닝의 핵심 학습 방법이 자리 잡은 자리는 컴퓨터 연구실이 아니라 사람의 마음을 설명하려던 심리학 프로젝트였다.
그들이 실제로 풀려던 문제
PDP가 붙들고 있던 질문은 기계를 똑똑하게 만드는 법이 아니었다. 사람은 왜 규칙을 배우지 않고도 규칙에 맞게 말하는가였다.
가장 유명한 사례가 영어 과거형이다. 아이들은 처음에 갔다에 해당하는 불규칙 동사를 통째로 외워 맞게 쓴다. 그러다 어느 시점에 오히려 틀리기 시작한다. 규칙형 어미를 불규칙 동사에까지 붙여서, 영어로 치면 went 대신 goed 같은 말을 한다. 그러다 다시 맞게 돌아온다. 잘하다가 못하다가 다시 잘하는 U자 곡선이다.
이게 왜 흥미로운가. 아이가 goed라고 말하려면 그 말을 어디서 들었어야 하는데, 어른은 그렇게 말하지 않는다. 즉 아이는 듣지 않은 형태를 스스로 만들어 냈다. 규칙을 배운 것처럼 보인다. 그런데 아이에게 규칙을 가르친 사람도 없다.
루멜하트와 매클렐런드는 규칙을 하나도 넣지 않은 신경망으로 이 곡선을 재현하려 했다. 규칙 없이 연결 세기만 고치는 모형이 아이와 비슷한 실수 패턴을 보인다면, 사람 머릿속에도 규칙표가 없을 수 있다는 뜻이 된다.
이 모형은 격렬한 논쟁을 불렀다. 스티븐 핑커와 앨런 프린스는 1988년에 반론을 냈다. U자 곡선이 나온 이유가 학습 자체가 아니라 훈련 데이터를 도중에 급격히 바꾼 설계 때문이라는 지적이었고, 이 비판은 널리 받아들여졌다. 논쟁은 수십 년 이어졌다.
다만 그 논쟁의 성격을 보라. 심리학 학술지에서 아이의 언어 습득을 두고 벌어진 논쟁이다. 이 모형이 무엇을 하려던 물건이었는지는 논쟁의 존재 자체가 말해 준다.
용어 하나만 — 연결주의
연결주의는 지식이 규칙이나 항목이 아니라 수많은 연결의 세기에 분산돼 있다는 관점이다.
반대편에는 기호주의가 있었다. 지식을 기호와 규칙으로 명시적으로 적어 두는 접근이다. 고양이는 포유류다, 포유류는 동물이다, 따라서 고양이는 동물이다. 사람이 읽을 수 있고 어디를 고쳐야 하는지도 분명하다.
연결주의는 그 반대를 택했다. 지금 모델 어디에도 고양이는 다리가 넷이라고 적힌 곳이 없다. 그 정보는 수억 개 연결 세기 안에 흩어져 있고, 어느 연결 하나를 열어 봐도 거기엔 뜻이 없다. 이걸 분산 표상이라고 부른다.
이 선택에는 대가가 있다. 하나가 흩어져 있으니 비슷한 경우에 잘 일반화되지만, 특정한 사실 하나를 정확히 꺼내는 데는 약하다. 고치고 싶은 지점을 찾아 고칠 수도 없다. 이 두 가지 성질이 지금 우리가 겪는 문제 대부분의 출발점이다.
그래서 내일 뭘 바꾸나
AI를 검색 상자가 아니라 연결 덩어리로 대한다. 같은 질문에 매번 다른 답이 나오는 건 고장이 아니라 이 구조의 성질이다. 어디에도 원본이 저장돼 있지 않으니 매번 다시 조립된다.
그래서 중요한 답은 두 번 묻는다. 새 창을 열고 표현을 조금 바꿔 같은 것을 다시 묻는다. 두 번 물어 같은 결론이 나오면 그 답은 연결 세기에 굳게 박힌 것이고, 갈리면 모델이 그 부분을 잘 모르는 것이다. 별도 도구 없이 쓸 수 있는 가장 값싼 신뢰도 측정이다.
정확히 알아야 하는 사실은 연결에 맡기지 않는다. 날짜, 수치, 인용, 사람 이름은 원문을 붙여 주고 그 안에서 찾게 한다. 분산 저장은 일반화에 강하고 정확한 한 건에 약하다. 이건 모델을 잘 고르면 해결되는 문제가 아니라 구조에서 나오는 성질이다.
일반화가 필요한 일에는 반대로 마음껏 맡긴다. 이 문장들 톤을 맞춰 줘, 이 표를 요약해 줘, 이 코드 뭐가 이상한지 봐 줘 같은 요청은 정확한 한 건이 아니라 패턴을 요구한다. 분산 표상이 가장 잘하는 쪽이다.
요약하면 이렇다. 사실은 붙여 주고 판단을 맡긴다. 이 원칙 하나가 다음 회차들 대부분의 배경이 된다.