조종석에서 벌어진 일
여객기 자동조종은 순항 구간을 사람보다 안정적으로 다룬다. 바람이 조금 바뀌어도 고도와 방향을 미세하게 유지하는 일은 기계가 훨씬 잘한다. 그래서 조종사가 순항 중에 하는 일은 대체로 계기를 지켜보는 것이다.
여기서 문제가 시작된다. 자동조종이 감당하지 못하는 상황이 오면 조종간은 사람에게 넘어온다. 그런데 자동조종이 감당하지 못하는 상황이란 정의상 드물고 복잡한 상황이다.
즉 몇 시간 동안 아무것도 하지 않던 사람에게, 시스템이 포기한 가장 어려운 판단이 몇 초 안에 주어진다. 그것도 예고 없이.
리산 베인브리지가 1983년에 이 구조를 정리했다. 논문 제목이 자동화의 아이러니이고, 본문이 다섯 쪽이다.
첫 번째 아이러니 — 설계자도 사람이다
논문이 첫 번째로 짚는 아이러니는 의외의 자리에 있다.
자동화를 하는 명분은 대개 사람이 못 미덥다는 것이다. 사람은 실수하고 지치고 일관되지 않으니 기계에 넘기자는 논리다. 그런데 그 기계를 설계한 것도 사람이다.
그래서 자동화된 시스템의 오류는 사라지는 게 아니라 자리를 옮긴다. 현장의 실수는 줄어들고, 대신 설계 단계에서 미처 생각하지 못한 조건이 남는다. 그 조건은 사람이 못 본 것이므로 평소 운영에서는 잘 드러나지 않다가 하필 드문 상황에서 터진다.
AI로 옮겨도 같은 문장이 성립한다. 사람이 편향되니까 모델에 맡기자는 논리는, 그 모델을 사람이 만든 데이터로 학습시켰다는 사실 앞에서 절반만 유효하다.
두 겹의 함정
본론은 사람에게 무엇이 남는가다. 논문이 지적한 함정이 두 겹이다.
첫째, 사람에게 남는 일은 쉬운 일이 아니라 어려운 일이다. 자동화는 규칙이 분명하고 반복적인 부분부터 먹는다. 남는 것은 예외, 판단, 모호한 상황이다. 사람 몫이 줄어드는 게 아니라 난이도만 올라간 채로 줄어든다.
둘째, 그 어려운 일을 연습할 기회가 사라진다. 평소 업무에서 그 기술을 쓰지 않기 때문이다. 손으로 하던 조작도, 상황을 읽는 감각도, 쓰지 않으면 녹슨다. 그래서 정작 필요한 순간의 실력은 자동화 도입 전보다 낮아져 있다.
여기에 세 번째가 겹친다. 자동화가 제대로 돌고 있는지 감시하려면 그 판단이 맞는지 알아야 한다. 그런데 그 판단이 맞는지 아는 능력이 바로 자동화가 대체한 그 능력이다. 감시하려면 그 일을 할 줄 알아야 하는데, 자동화 때문에 그 일을 안 하게 된다.
그래서 논문의 결론이 반직관적으로 나온다. 자동화된 시스템의 운영자는 훈련이 덜 필요한 게 아니라 더 필요하다. 드물지만 결정적인 개입을 위해서다.
감시는 사람이 가장 못하는 일이다
자동화 뒤에 남는 대표적인 일이 감시인데, 하필 이게 사람이 가장 못하는 종류의 일이다.
이건 인상이 아니라 오래된 측정 결과다. 2차 대전 무렵 영국에서 레이더 감시병들의 성적을 잰 실험이 있었다. 참가자는 시계처럼 생긴 장치 앞에 앉아, 바늘이 가끔 한 칸이 아니라 두 칸씩 뛰는 순간을 잡아내야 했다. 신호는 드물게 나온다.
결과는 분명했다. 시작하고 삼십 분쯤 지나면 놓치는 비율이 눈에 띄게 올라갔다. 사람이 게을러서가 아니다. 아무 일도 일어나지 않는 화면을 오래 지켜보는 능력 자체가 사람에게는 얼마 없다.
여기서 나오는 결론이 뼈아프다. 자동화는 사람에게 가장 어려운 판단을 남기면서, 동시에 사람이 가장 못하는 방식으로 대기하게 만든다. 두 조건이 같은 사람에게 동시에 걸린다.
실제로 일어난 사례
2009년 대서양 상공에서 있었던 항공 사고가 이 구조를 그대로 보여 준다.
속도를 재는 계기가 결빙으로 잘못된 값을 내자 자동조종이 스스로 물러났다. 그 순간 조종간은 사람에게 넘어왔다. 야간, 순항 고도, 계기 일부를 신뢰할 수 없는 상태, 그리고 몇 초.
사고 조사에서 지적된 것 중 하나가 이 상황의 조합이 조종사들이 훈련에서도 실무에서도 거의 겪어 보지 못한 것이었다는 점이다. 순항 고도에서 수동으로 조종하는 상황 자체가 드물다. 자동조종이 잘 돌기 때문이다.
베인브리지가 26년 전에 쓴 구조가 그대로다. 기계가 포기하는 순간이 가장 어려운 순간이고, 그 순간을 위한 연습은 평소에 일어나지 않는다.
이 사례를 드는 이유는 항공을 탓하려는 게 아니다. 항공은 이 문제를 가장 오래 연구했고 가장 많은 대책을 만든 분야다. 그럼에도 남는다는 것이 요점이다.
자동화 편향 — 옆에 답이 있으면 덜 본다
한 가지가 더 있다. 자동화된 조언이 옆에 있으면 사람의 검사 행동 자체가 바뀐다.
연구자들이 정리한 이 성향을 자동화 편향이라고 부른다. 두 방향으로 나타난다. 하나는 놓치는 쪽이다. 시스템이 알려 주지 않은 문제를 사람도 못 알아챈다. 스스로 확인해야 할 곳을 시스템이 조용하다는 이유로 넘어간다.
다른 하나는 따라가는 쪽이다. 시스템이 잘못된 조언을 하면 그것을 따른다. 혼자였다면 하지 않았을 판단을, 화면에 답이 떠 있다는 이유로 한다.
핵심은 이것이 실력 부족이 아니라는 점이다. 옆에 그럴듯한 답이 있으면 사람은 검사 강도를 자동으로 낮춘다. 노력을 아끼는 쪽으로 기울고, 그것이 대개는 합리적이기 때문에 그렇게 굳는다.
9회차의 결론과 여기서 만난다. 매끄럽게 쓰인 답 앞에서 사람의 검사는 약해진다. 그리고 AI의 산출물은 거의 항상 매끄럽다.
40년 뒤, 같은 구조가 사무실에 들어왔다
이 논문이 지금 읽히는 이유는 AI 도입이 정확히 같은 모양이기 때문이다.
초안 작성을 AI에 넘긴다. 사람 몫은 검토가 된다. 그런데 검토는 초안 작성보다 쉬운 일이 아니다. 빈 종이에서 쓰는 것보다 남이 쓴 그럴듯한 글에서 틀린 곳을 찾는 것이 더 어렵다. 쓰는 사람은 자기가 어디를 얼버무렸는지 알지만, 읽는 사람은 그 흔적이 지워진 글을 받는다.
게다가 초안을 직접 써 본 적이 줄어들수록 무엇이 틀렸는지 감각도 무뎌진다. 두 번째 함정이 그대로 작동한다.
코드도 같다. 짜는 일을 넘기면 남는 건 읽고 판단하는 일이고, 그건 짜는 일보다 어렵다. 동작하는 코드와 동작하는 것처럼 보이는 코드를 가르는 일은 짜 본 사람만 할 수 있다.
그리고 감시 문제도 그대로다. 대부분의 경우 AI 산출물은 괜찮다. 그래서 검토는 아무 일도 일어나지 않는 화면을 지켜보는 일이 된다. 삼십 분 뒤에 놓치기 시작하는 그 일이다.
이건 그러니 자동화하지 말라가 아니다
베인브리지의 논문은 자동화 반대론이 아니다. 요점은 자동화를 설계할 때 사람에게 남는 몫도 함께 설계해야 한다는 것이다.
그냥 두면 사람 몫은 설계되지 않고 잔여물로 남는다. 자동화가 못 먹은 부분이 곧 사람 일이 되는 방식이다. 이렇게 정해진 사람 몫은 아무도 그 난이도를 검토한 적이 없다.
실제로 AI 도입 계획서에서 사람 쪽 설계를 찾기는 어렵다. 무엇을 자동화할지는 상세한데, 남는 사람이 무엇을 어떤 조건에서 하게 되는지는 검토와 승인 정도로 한 줄 적히고 만다. 그 한 줄이 이 회차가 말하는 함정 전부를 담고 있다.
이 상태를 부르는 이름이 다음 회차에 나온다.
용어 하나만 — 자동화의 아이러니
자동화의 아이러니는 자동화가 진행될수록 사람에게 남는 일의 난이도는 올라가고 그 일을 연습할 기회는 줄어드는 현상이다.
여기서 아이러니라는 말이 정확한 이유가 있다. 의도와 결과가 반대여서다. 사람의 부담을 줄이려던 일이 사람에게 가장 어려운 부분만 남기고, 실수를 줄이려던 일이 결정적 순간의 실수 확률을 높인다.
이 회차의 배지가 설계 원리인 이유도 같다. 이 이론은 AI 알고리즘의 조상이 아니다. AI를 어떻게 도입할 것인가를 규정한다. 항공과 의료가 수십 년에 걸쳐 만든 대책이 그대로 참고 자료가 된다.
그래서 내일 뭘 바꾸나
AI에 일을 넘길 때 내가 계속 연습할 부분을 함께 정한다. 전부 넘기고 검토만 하면 6개월 뒤 검토 실력도 같이 떨어져 있다. 주에 한 번은 처음부터 직접 해 보는 건이 있어야 한다. 이건 취향이 아니라 감가상각 대응이다.
검토를 초안보다 쉬운 일로 계획하지 않는다. 일정과 인력을 잡을 때 AI가 초안을 쓰니 검토는 금방이라는 가정이 들어가면 그 계획은 이미 틀렸다. 절약되는 것은 쓰는 시간이지 판단하는 시간이 아니다.
검토 항목을 미리 목록으로 만든다. 다 읽고 이상한 데를 찾는 방식은 매끄러운 글 앞에서 실패한다. 수치, 날짜, 인용, 조건, 예외 처리처럼 확인 지점을 미리 정해 두고 항목별로 훑는다. 6회차에서 뽑은 검증 목록과 같은 물건이다.
무작위로 몇 건은 처음부터 다시 해 본다. 감시 업무의 성적을 유지하는 방법으로 알려진 것이 이것이다. 전수 검토는 지속되지 않지만, 표본을 정해 깊게 파는 것은 지속된다. 그리고 그 표본이 실력을 유지하는 연습분이 된다.
드물게 쓰는 기술은 일정에 넣어 연습한다. 항공 업계가 시뮬레이터를 쓰는 이유가 이것이다. AI 없이 처음부터 해 보기를 캘린더에 넣지 않으면 아무도 하지 않는다.
요약하면 이렇다. 무엇을 넘길지 정할 때, 무엇을 남길지도 같이 정한다.