얼굴을 알아본다는 게 왜 어려운 일인가
사진 속 얼굴을 알아보는 일은 사람에게 너무 쉬워서 어려움이 안 보인다. 그런데 컴퓨터에게 사진은 그냥 숫자 배열이다. 가로 1000, 세로 1000짜리 흑백 사진이면 100만 개의 밝기 값이 늘어선 목록이고, 컴퓨터는 그 목록을 받아 이건 고양이라고 답해야 한다.
가장 순진한 방법은 고양이 사진을 통째로 외우는 것이다. 100만 개 숫자의 패턴을 기억해 두고 새 사진과 비교한다. 이건 즉시 실패한다. 고양이가 화면에서 10픽셀만 옆으로 움직여도 100만 개 값이 전부 다른 자리로 밀려나 완전히 다른 목록이 되기 때문이다. 사람 눈에는 같은 고양이지만 숫자로는 남남이다.
밝기가 조금 달라져도, 고양이가 조금 기울어져도 같은 일이 벌어진다. 그러니 외우기 방식으로는 고양이 한 마리의 모든 위치·밝기·각도 조합을 다 외워야 하는데, 그 경우의 수는 사실상 무한이다.
그래서 필요한 것은 위치가 조금 달라져도 같은 것으로 보는 방법이다. 조각을 찾되 그 조각이 정확히 어디 있었는지는 잊어버리는 장치가 있어야 한다. 그 장치의 원본이 고양이 뇌 안에 있었다.
1959년, 마취된 고양이와 전극 하나
데이비드 허블과 토르스텐 비셀은 고양이의 일차 시각 피질에 미세 전극을 꽂았다. 뇌세포 하나가 발화할 때 나는 전기 신호를 잡아 소리로 바꿔 듣는 장치였다. 그러고는 마취된 고양이 눈앞 화면에 여러 무늬를 비추며 어떤 그림에 어떤 세포가 반응하는지 찾았다.
한동안 아무 반응이 없었다. 점을 찍어도, 원을 그려도 세포는 잠잠했다. 그러다 슬라이드를 갈아 끼우는 순간 스피커에서 세포가 격렬하게 발화하는 소리가 났다. 그림이 아니라 슬라이드가 밀려 들어가면서 생긴 그림자의 가장자리, 즉 기울어진 선분 하나가 지나간 것이었다.
이 우연한 발견을 붙잡고 파고들자 두 종류의 세포가 드러난다.
단순세포는 특정 각도의 선분에만 반응한다. 45도 기울어진 선에 반응하는 세포는 90도 선에는 거의 잠잠하다. 그리고 그 선이 시야의 어느 위치에 있는지도 따진다. 세포마다 담당하는 자리가 정해져 있어서, 자기 자리에 자기 각도의 선이 와야 발화한다.
복합세포는 각도는 똑같이 따지되 위치를 따지지 않는다. 45도 선이면 그 선이 조금 위에 있든 아래에 있든 반응한다. 1962년 후속 논문에서 이 복합세포와, 같은 각도를 담당하는 세포들이 기둥 모양으로 모여 있는 방위 컬럼 구조가 정리됐다.
여기서 앞 절의 문제가 그대로 풀린다. 단순세포는 조각을 찾고, 복합세포는 그 조각의 위치를 흘려보낸다. 조각을 찾되 어디 있었는지는 잊는 장치가 뇌 안에 이미 두 층으로 짜여 있었던 것이다.
두 사람은 1981년 노벨 생리의학상을 받았다. 로저 스페리와 나눈 절반을 공동 수상했고, 수상 사유는 시각 시스템의 정보 처리에 관한 발견이다.
부분에서 전체로 — 층을 쌓는다는 발상
허블과 비셀이 남긴 것은 세포 두 종류만이 아니다. 더 중요한 것은 두 세포의 관계였다. 복합세포는 여러 단순세포의 출력을 모아서 만든 것처럼 보였다. 같은 각도를 담당하되 조금씩 다른 자리를 보는 단순세포들을 한 다발로 묶으면, 그 각도에 반응하되 위치는 안 따지는 세포가 된다.
그렇다면 이 묶기를 한 번 더 하면 어떻게 될까. 짧은 선분들을 묶어 모서리를 만들고, 모서리들을 묶어 곡선을 만들고, 곡선들을 묶어 눈 모양을 만들고, 눈과 코와 입을 묶어 얼굴을 만든다.
이 그림이 이 회차의 설계도다. 단순한 것을 찾는 층과 위치를 흘리는 층을 번갈아 쌓으면, 위로 갈수록 더 크고 더 복잡한 것을 알아보게 된다. 그리고 위로 갈수록 위치에 둔감해진다.
1980년, 그 두 세포가 코드가 됐다
일본의 후쿠시마 쿠니히코가 만든 네오코그니트론은 은유가 아니다. 그는 논문에서 허블과 비셀의 발견을 직접 인용하고, 단순세포를 S층, 복합세포를 C층이라고 이름 붙였다. 앞 글자가 각각 simple과 complex다.
구조는 S층과 C층을 번갈아 쌓은 것이다. 아래 S층은 짧은 선분을 찾고, 그 위 C층은 위치를 뭉개고, 그 위 S층은 뭉개진 결과에서 더 큰 조각을 찾고, 그 위 C층이 다시 위치를 뭉갠다. 이걸 몇 겹 반복한다.
즉 부분을 찾고, 위치를 흘리고, 더 큰 부분을 찾고, 다시 흘린다. 지금 CNN이 하는 일을 한 문장으로 쓰면 이것이다.
네오코그니트론은 손글씨 숫자를 위치가 조금 달라져도 알아봤다. 다만 학습 방식이 지금과 달랐다. 정답을 알려 주지 않고 스스로 패턴을 찾게 하는 방식이라 성능을 끌어올리기 어려웠다. 이 마지막 조각이 9년 뒤에 채워진다.
1989년, 우체국 우편번호를 읽으며 실용이 됐다
얀 르쿤과 벨 연구소 동료들이 손글씨 우편번호를 읽는 신경망을 만든다. 미국 우체국에서 실제로 걷은 우편물에서 뽑은 숫자 이미지로 학습시켰고, 당시로서는 드물게 실무 문제에 붙인 신경망이었다.
이 논문이 이 회차에서 중요한 건 성능이 아니라 참고문헌이다. 논문은 후쿠시마의 1980년 네오코그니트론을 직접 인용하고, 자기 구조가 그것을 연상시키되 비지도 학습 대신 역전파를 쓴다고 명시했다. 앞 회차에서 본 그 역전파다.
즉 계보가 정황이 아니라 문헌으로 이어진다. 고양이 시각 피질(1959) 다음 네오코그니트론(1980) 다음 역전파를 얹은 CNN(1989). 널리 알려진 LeNet-5는 1998년이고, 그 뒤로도 계속 발전한다.
여기서 하나 더 붙은 아이디어가 있다. 같은 각도의 선분을 찾는 일은 화면 왼쪽 위에서나 오른쪽 아래에서나 똑같은 계산이다. 그러니 자리마다 따로 배울 필요 없이 같은 계산 규칙을 화면 전체에 옮겨 가며 적용하면 된다. 이걸 가중치 공유라고 부르고, 그 옮겨 가며 적용하는 연산의 이름이 합성곱이다. CNN의 C가 이것이다.
이 한 가지가 실용성을 갈랐다. 자리마다 따로 배우면 배울 것이 수백만 개인데, 규칙 하나를 옮겨 쓰면 수백 개다. 데이터도 적게 들고 계산도 가볍다.
용어 하나만 — 수용장
수용장은 신경세포 하나가 담당하는 시야의 좁은 구역이다.
허블과 비셀이 찌른 그 세포는 화면 전체를 보지 않았다. 각자 아주 작은 구역만 본다. 그 구역 밖에서 무슨 일이 일어나든 그 세포는 모른다. CNN이 사진을 한 번에 보지 않고 작은 창을 옮겨 가며 훑는 이유가 이것이다.
층이 올라가면 수용장은 넓어진다. 아래층 세포 여러 개를 묶은 위층 세포는 그만큼 넓은 구역을 담당하게 된다. 그래서 아래층은 선분을, 위층은 얼굴을 본다.
여기서 중요한 성질이 하나 따라온다. 이 구조는 부분에서 전체로 조립한다. 조각을 잘 찾지만, 그 조각들이 이루는 상황과 맥락은 원리적으로 다른 문제다. 이 성질이 다음 절의 실무 지침을 만든다.
그래서 이 구조는 무엇을 못하나
조각 조립 방식의 한계는 실제로 여러 번 드러났다.
첫째, 조각이 다 있으면 배열이 틀려도 맞다고 한다. 눈·코·입이 다 있지만 자리가 뒤죽박죽인 얼굴을 얼굴로 판정하는 경우가 있다. 부분의 존재는 잘 보지만 부분들 사이의 관계는 약하게 본다.
둘째, 사람 눈에 안 보이는 아주 작은 변화로 판정을 뒤집을 수 있다. 픽셀 값을 미세하게 흔들어 판다를 원숭이로 만드는 식이다. 사람은 그 두 사진의 차이를 알아채지도 못한다.
셋째, 배경을 근거로 삼는다. 소 사진을 초원에서만 학습하면 해변의 소를 못 알아본다. 소의 형태가 아니라 초록색 배경을 소의 근거로 배운 것이다.
이 셋은 버그가 아니라 이 구조가 무엇인지에서 따라 나오는 성질이다. 그리고 그대로 실무 지침이 된다.
그래서 내일 뭘 바꾸나
이미지 AI에는 무엇이 보이나를 묻고 무슨 상황인가는 검증한다. 조각 검출은 이 구조의 본업이고 사람보다 지치지 않는다. 반면 장면의 의미는 조립된 결과라 틀릴 때 그럴듯하게 틀린다. 이 사진에 안전모가 있나는 맡겨도 되고, 이 작업이 안전한가는 사람이 본다.
작게 잘라서 물어본다. 사진 한 장을 통째로 해석시키기보다 이 영역에 글자가 있나, 이 부품에 흠이 있나처럼 좁혀 물으면 정확도가 눈에 띄게 오른다. 수용장이 좁은 구조라 질문도 좁을 때 잘 맞는다.
각도와 밝기를 바꿔 두 번 물어본다. 위치 변화는 복합세포 층이 흡수하지만 회전과 조명은 그렇지 않다. 사진을 90도 돌리거나 밝기를 조정해 다시 물었을 때 답이 갈리면 그 판정은 아직 못 믿을 것이다.
배경이 다른 표본을 일부러 섞는다. 검수 자료를 만들 때 같은 대상을 다른 장소·다른 조명에서 찍은 것을 넣는다. 배경을 근거로 배웠는지는 그 표본에서만 드러난다.
출처: Hubel & Wiesel (1959, 1962) · Nobel Prize in Physiology or Medicine 1981 · Fukushima, Neocognitron (1980) · LeCun et al., Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation 1(4) (1989)