그 순간을 아마 겪었을 것이다
AI와 대화를 끝내며 고맙습니다라고 쓴 적. 답이 좋았을 때 잘했다고 적은 적. 무리한 요청을 하며 미안한데를 붙인 적.
그러고 나서 좀 이상하게 느꼈을 것이다. 프로그램인데. 알고 있는데.
이 반응은 예외가 아니라 60년째 반복되는 규칙이고, 처음 관측된 자리에 이름이 붙어 있다. 그리고 이 회차의 요점은 그 습관을 없애라는 게 아니다. 없앨 수 없다는 게 데이터가 말하는 바이고, 그렇다면 다른 대응이 필요하다는 것이다.
1966년, 몇 줄짜리 프로그램
MIT의 요제프 바이첸바움이 만든 ELIZA는 지금 기준으로 소박하다. 상대의 말에서 특정 패턴을 찾아 되물음으로 바꾸는 규칙 몇 가지가 전부다. 어머니가 밉다고 하면 어머니에 대해 더 말해 보라고 되묻고, 나는 무엇무엇이다라고 하면 왜 자신을 그렇게 생각하느냐고 되묻는 식이다.
이해가 없다는 것이 핵심이다. ELIZA는 어머니가 무엇인지 모른다. 문장에서 그 자리를 찾아 되돌려 줄 뿐이다. 대화에서 상대가 말한 것을 되비추는 상담 기법 하나를 흉내 낸 것이고, 바이첸바움 본인도 그것을 패러디로 여겼다.
그가 이 프로그램으로 보여 주려 한 것은 사람과 기계의 대화가 얼마나 얄팍한지였다. 겉보기에 그럴듯한 대화가 이해 없이도 만들어진다는 것을 드러내려는 시연이었다.
그런데 정반대 일이 벌어진다.
만든 사람이 가장 놀랐다
사람들이 ELIZA에게 진지하게 속을 털어놓기 시작했다. 몇 마디 주고받다 보면 개인적인 이야기가 나왔다.
가장 유명한 장면이 이것이다. 그의 비서가 ELIZA를 쓰다가, 방에서 나가 달라고 요청했다. 이 프로그램이 어떻게 만들어졌는지 옆에서 지켜본 사람이었다. 원리를 아는 것과 그 앞에서 어떻게 느끼는가는 별개였다.
일반인만 그런 게 아니었다. 몇몇 정신과 연구자들은 이 방식을 실제 상담에 대규모로 쓸 수 있겠다고 진지하게 제안했다. 바이첸바움에게는 이쪽이 더 충격이었다. 사람의 문제를 다루는 일을 이해 없는 패턴 치환에 넘길 수 있다고 전문가들이 생각했다는 뜻이었으니까.
그는 이 일을 계기로 방향을 바꿔 남은 평생 기술에 대한 경고를 썼다. 1976년 책에 남긴 문장이 요점이다. 비교적 단순한 컴퓨터 프로그램에 잠깐만 노출돼도 지극히 정상적인 사람들에게 강력한 망상적 사고가 생길 수 있다는 것을 나는 몰랐다.
여기서 짚을 것은 정상적인 사람들이라는 대목이다. 잘 속는 사람들의 이야기가 아니다.
1996년, 35개의 실험
30년 뒤 바이런 리브스와 클리퍼드 나스가 이것을 일화가 아니라 데이터로 만든다. 그들이 쓴 방법이 영리하다. 사람 대 사람 관계를 다룬 고전적 사회심리학 실험들을 가져와서, 한쪽 사람을 컴퓨터로 바꿔 그대로 다시 돌린 것이다.
결과는 한 방향을 가리켰다. 사람은 컴퓨터의 예의에 예의로 답한다. 컴퓨터가 자기 성능을 평가해 달라고 하면, 같은 내용을 다른 컴퓨터에서 평가할 때보다 후하게 준다. 사람에게 하는 것과 똑같이 면전에서 박하게 말하기를 꺼린다.
목소리에 성별 단서가 있으면 성별 고정관념이 따라붙는다. 같은 내용을 말해도 어떤 주제에서는 남성 목소리 쪽을 더 유능하다고 평가했다.
이 컴퓨터가 우리 팀이라고 알려 주면 내집단 편애가 생긴다. 같은 조언인데 우리 팀 컴퓨터의 조언을 더 잘 받아들이고 더 좋게 평가한다.
35개의 연구가 각각 다른 각도에서 같은 곳을 가리켰다. 사람은 미디어를 실제 사람이나 실제 장소처럼 대한다는 것이다.
부인하면서도 그렇게 행동했다
이 연구에서 가장 중요한 대목은 결과가 아니라 참가자들의 자기 보고다.
실험이 끝난 뒤 물어보면, 참가자들은 컴퓨터가 그런 대우를 받을 존재가 아니라고 명시적으로 부인했다. 컴퓨터에 예의를 차릴 이유가 없다고 답했고, 자기가 그렇게 행동했다는 것도 인정하지 않았다. 그런데 데이터는 그렇게 행동했다고 말한다.
이 어긋남이 뜻하는 바가 크다. 이 반응은 판단이 아니라 자동 처리라는 것이다. 사회적 단서가 들어오면 사회적 반응이 나가고, 그것이 상대가 무엇인지에 대한 믿음보다 먼저 작동한다.
실무에서 이게 왜 중요한가. 믿음을 고쳐서 없앨 수 없다는 뜻이기 때문이다. 이건 그냥 프로그램이라고 스스로에게 되뇌어도 반응은 그대로 나온다. 그러니 대응은 반응을 없애는 쪽이 아니라, 그 반응이 어디로 새어 나가는지를 막는 쪽이어야 한다.
칭찬은 무작위여도 듣는다
같은 연구 계열에서 나온 실험 하나가 이 자동성을 특히 선명하게 보여 준다.
참가자가 컴퓨터와 과제를 하는데 컴퓨터가 중간중간 칭찬을 한다. 한 조건에서는 그 칭찬이 성과와 무관하게 무작위로 나온다는 것을 참가자에게 미리 알려 준다. 아무 의미 없는 말이라고 못 박은 것이다.
그런데도 칭찬을 받은 참가자들은 기분이 더 좋아졌고, 자기 수행을 더 높게 평가했고, 그 컴퓨터를 더 호감 있게 봤다. 의미 없음을 알고도 효과가 남았다.
5회차에서 본 아부와 여기서 만난다. 그쪽은 AI가 사람에게 맞추도록 학습된 이야기였고, 이쪽은 사람이 그 맞춤에 반응하도록 돼 있다는 이야기다. 두 성질이 마주 보고 있다. 한쪽은 듣기 좋은 답을 내도록 학습됐고, 다른 쪽은 듣기 좋은 말에 실제로 설득된다.
그래서 위험은 예의가 아니다
여기서 흔한 오해를 하나 정리하고 가야 한다. AI에게 고맙다고 하는 건 어리석다가 이 연구의 결론이 아니다.
진짜 위험은 다른 데 있다. 사람을 대하듯 대하면 사람에게 쓰던 판단 습관도 같이 따라온다는 것이다.
사람을 상대할 때 우리는 세 가지를 능력 신호로 쓴다. 망설임 없이 말하면 확신이 있는 것으로 읽고, 정중하고 조리 있게 말하면 신뢰할 만한 것으로 읽고, 상세하게 말하면 근거가 있는 것으로 읽는다.
이 셋은 사람에게는 대체로 쓸 만한 단서다. 아는 사람이 대체로 더 유창하게 말하고, 준비한 사람이 대체로 더 상세하게 말한다. 어느 정도 상관이 있으니 지름길로 쓸 만하다.
언어 모델에게는 전부 무효다. 유창함은 그냥 기본 성능이고 확신 정도와 연결돼 있지 않다. 상세함은 근거의 양이 아니라 생성 길이다. 그리고 5회차에서 봤듯 듣기 좋게 쓰인 답이 정확한 답보다 선호돼 온 이력이 있다. 즉 이 단서들은 무효인 정도가 아니라 반대 방향으로 오도할 수 있다.
용어 하나만 — 의인화
의인화는 사람이 아닌 대상에 믿음, 의도, 감정 같은 내면 상태를 부여하는 것이다.
주의할 점은 이것이 오류가 아니라 기본값이라는 것이다. 사람은 움직이는 도형에도 의도를 붙여 읽는다. 오래된 실험에서 삼각형과 원이 움직이는 짧은 애니메이션을 보여 주면 사람들은 쫓고 도망치고 괴롭히는 이야기로 설명한다. 도형인 줄 알면서 그렇게 본다.
그러니 의인화하지 않기는 목표가 될 수 없다. 대신 어디까지 의인화해도 되고 어디부터는 안 되는지를 나누는 것이 목표다. 예의는 안전한 구역이고, 능력 판정은 위험한 구역이다.
지금 이 효과가 커지는 방향
1966년의 ELIZA는 되묻기만 하는 프로그램이었다. 지금 우리가 쓰는 것은 그때보다 사회적 단서가 훨씬 많다.
이름과 성격이 있고, 목소리로 말하고, 말을 끊으면 반응하고, 지난 대화를 기억한다. 리브스와 나스가 사회적 반응을 끌어내는 요소로 지목한 것들이 전부 들어 있다. 그리고 그것들은 대부분 의도적으로 설계된 것이다. 쓰기 편하고 친근하게 만들려는 결정의 결과다.
이 방향이 나쁘다는 이야기가 아니다. 다만 효과의 크기가 커진다는 것은 사실로 인정해야 한다.
최근에는 이 사용 방식이 사람에게 어떤 영향을 주는지를 재는 연구도 나오고 있다. 대화형 AI를 감정적으로 많이 쓰는 사용자군에서 외로움이나 의존 지표가 더 높게 나타난다는 관찰이 보고됐는데, 이런 결과는 대체로 상관이라 어느 쪽이 원인인지까지 말해 주지는 않는다. 다만 이 질문이 이제 측정 대상이 됐다는 것 자체가 시사적이다.
이 회차의 배지가 설계 원리인 이유가 이것이다. 여기서 심리학은 AI 알고리즘을 설명하지 않는다. AI를 쓰는 사람 쪽을 설명하고, 그래서 쓰는 방식을 규정한다.
그래서 내일 뭘 바꾸나
예의는 유지해도 된다. 없애려 애쓸 이유가 없다. 자동 처리라 억누르는 데 드는 노력이 아깝고, 정중한 프롬프트가 결과에 손해를 주지도 않는다. 오히려 그렇게 쓰는 편이 자연스럽고 편하다면 그대로 두는 것이 낫다.
대신 어조를 능력 신호로 읽지 않는다. 판정할 자리는 딱 하나다. 이 주장에 확인 가능한 근거가 붙어 있는가. 망설임 없음, 상세함, 정중함은 근거가 아니다. 이 한 줄만 지켜도 이 회차의 실용적 가치는 다 회수된다.
확신 있게 틀린 답을 일부러 한 번 만나 본다. 내가 확실히 아는 분야에서 검증 가능한 사실을 물어 틀린 답을 받아 보면, 그때의 어조가 얼마나 태연한지가 몸으로 남는다. 이게 이 회차에서 가장 값싼 예방주사다. 6회차에서 본 형식이 완벽할수록 의심하라와 같은 자리다.
중요한 판단에서는 호칭을 바꿔 본다. 네 생각은 어때가 아니라 이 자료에서 도출되는 결론은 무엇인가로 묻는다. 상대를 사람으로 부르는 문장이 사람에게 쓰는 판단 습관을 같이 부른다. 문장 형태를 바꾸면 내 읽는 태도도 조금 바뀐다.
그리고 스스로에게 물어볼 질문 하나. 지금 이 답을 믿는 이유가 근거 때문인가, 아니면 잘 쓰였기 때문인가.