케이퍼빌리티 오버행이란 무엇이고, 조직은 무엇을 해야 하는가?

케이퍼빌리티 오버행이란 무엇인가

서울대학교 컴퓨터공학부 이재욱 교수는 최근 인터뷰에서 케이퍼빌리티 오버행(capability overhang)이라는 표현을 꺼냈다. AI 모델의 성숙도는 굉장히 빠르게 발전하는데 그것을 쓰는 사람의 역량은 평균적으로 그보다 훨씬 느리게 자란다는 뜻이고, 그 결과 AI를 아주 잘 쓰는 파워 유저와 평균적으로 쓰는 사용자 사이의 생산성 격차가 크게 벌어진다는 이야기였다.

용어부터 풀어 보자. 케이퍼빌리티(capability)는 '할 수 있는 능력'이고, 오버행(overhang)은 건물의 처마처럼 '아래를 덮은 채 튀어나와 있는 부분'을 가리키는 말이다. 둘을 붙이면 도구가 이미 갖고 있지만 사람이 아직 꺼내 쓰지 못하고 있는 성능, 즉 처마처럼 머리 위에 떠 있는 여유분이라는 뜻이 된다.

쉽게 비유하면 이렇다. 회사가 모두에게 최신 카메라를 한 대씩 나눠 줬다. 카메라는 매년 좋아지지만 사진 실력은 그 속도로 늘지 않는다. 대부분은 자동 모드로만 찍고, 몇 사람만 조리개와 셔터 속도를 만지며 카메라가 원래 낼 수 있는 결과를 꺼내 쓴다. 카메라가 좋아질수록 그 몇 사람과 나머지의 결과물 차이는 커진다. AI 도구에서 지금 벌어지는 일이 이것이다.

여기서 중요한 것은 오버행이 '도구의 결함'이 아니라는 점이다. 도구는 제 일을 하고 있다. 남는 성능이 쌓이는 이유는 그것을 꺼내 쓸 사람의 감각이 아직 그만큼 자라지 않았기 때문이다. 그래서 이 문제는 더 좋은 도구를 사는 것으로는 풀리지 않는다.

왜 도구가 좋아질수록 격차가 벌어지나

직관적으로는 반대일 것 같다. 도구가 똑똑해질수록 초보와 고수의 차이가 줄어들 것 같다. 실제로 어떤 영역에서는 그렇다. 맞춤법 검사기나 번역기처럼 결과가 하나로 정해진 일은 도구가 좋아지면 모두가 같은 수준으로 수렴한다.

그런데 AI 도구는 '무엇을 시킬지'를 사람이 정한다. 시킬 수 있는 일의 목록이 넓어질수록, 그 목록을 얼마나 알고 있느냐에 따라 결과가 갈린다. 도구가 할 수 있는 일이 열 가지일 때는 아는 사람과 모르는 사람의 차이가 열 가지 안에서 나지만, 백 가지가 되면 그 차이도 백 가지 폭으로 벌어진다. 성능이 올라갈수록 '아는 만큼 쓴다'의 진폭이 커지는 것이다.

여기에 복리가 붙는다. 잘 쓰는 사람은 도구로 시간을 벌고, 그 시간을 다시 도구를 익히는 데 쓴다. 평균적으로 쓰는 사람은 벌어들인 시간이 적으니 익힐 시간도 적다. 한 달만 지나도 두 사람의 거리는 처음보다 멀어져 있다.

잘 쓰는 사람은 무엇이 다른가

이재욱 교수가 꼽은 조건은 두 가지다. 첫째, 이 도구로 할 수 있는 작업의 범주가 도대체 무엇인지를 잘 아는 것. 둘째, 이것으로 할 수 없는 한계가 무엇인지를 잘 아는 것. 이 둘이 파워 유저와 평균 사용자를 가른다.

주목할 점은 여기에 '프롬프트를 화려하게 쓰는 법'이 없다는 것이다. 좋은 문장을 쓰는 기술이 아니라 이 도구의 지도를 얼마나 갖고 있느냐의 문제다. 어디까지가 도구의 땅이고 어디부터가 사람의 땅인지 아는 사람이 잘 쓴다.

둘 중에서도 어려운 쪽은 한계다. 되는 일은 남이 하는 걸 보면 목록이 늘어난다. 안 되는 일은 그렇지 않다. 어디까지 믿고 맡겨도 되는지는 맡겼다가 그럴듯하게 틀린 답을 받아 본 사람만 안다. 이건 강의를 들어서 생기는 감각이 아니다.

실무에서 두 사람의 차이는 대개 이렇게 드러난다.

전사 라이선스를 깔았는데 왜 조직은 그대로인가

많은 회사가 AX를 도구 도입 프로젝트로 잡는다. 계약하고, 계정을 뿌리고, 사용률을 집계한다. 사용률이 올라가면 성공으로 본다. 그런데 오버행을 이해하고 나면 이 그림의 문제가 보인다. 계정을 똑같이 나눠 준다고 역량이 똑같이 올라가지 않는다.

실제로 벌어지는 일은 대개 이렇다. 원래 새 도구를 잘 붙잡던 몇 사람이 훨씬 빨라진다. 중간에 있는 다수는 계정을 받아 두고 검색 대신 쓰거나 문장을 다듬는 정도로 쓴다. 일부는 한두 번 써 보고 이상한 답을 받은 뒤 조용히 접는다. 사용률 지표는 올라가지만 조직의 산출은 몇 사람 쪽으로만 몰린다.

이 상태를 방치하면 두 가지 비용이 생긴다. 하나는 눈에 보이는 비용, 즉 쓰지 않는 계정값이다. 다른 하나는 눈에 안 보이는 비용인데, 잘 쓰는 사람이 알아낸 방법이 그 사람 안에만 남는다는 것이다. 조직이 배운 게 아니라 개인이 배운 것으로 끝난다.

그래서 AX의 실제 과제가 바뀐다. 무엇을 도입할 것인가가 아니라, 이미 도입한 것을 누가 어디까지 쓰고 있고 그 격차를 어떻게 좁힐 것인가가 문제다.

개인이라면: 한계는 실패에서만 배운다

개인 차원에서 이 격차를 좁히는 방법은 의외로 단순하다. 지금 손에 있는 실제 업무를 하나 골라 AI에게 통째로 던져 보는 것이다. 잘 되면 '되는 일 목록'이 하나 늘고, 이상하게 나오면 '안 되는 일 목록'이 하나 는다. 어느 쪽이든 남는다.

이재욱 교수도 컴퓨터공학을 전공하지 않은 사람들에게 같은 방향을 권했다. 기본적으로 내가 하는 대부분의 문제는 AI로 풀 수 있다고 한번 가정해 보고, 아주 작은 프로젝트라도 실제로 AI를 이용해 풀어 보라는 것이다. 그 과정을 여러 번 반복하면 이 도구가 잘하는 것과 못하는 것에 대한 감이 생긴다.

구체적으로는 이렇게 시작하면 된다. 첫째, 이번 주에 실제로 해야 하는 일 중 30분 이상 걸리는 반복 작업을 하나 고른다. 둘째, 그 일을 후임에게 넘긴다고 생각하고 필요한 자료와 기준을 함께 준다. 셋째, 첫 결과를 그대로 쓰지 말고 어디가 틀렸는지 짚어 다시 시킨다. 넷째, 세 번쯤 주고받은 뒤에도 안 되면 그 일은 '아직 안 되는 일'로 적어 둔다.

네 번째가 핵심이다. 대부분은 여기서 그냥 접고 기록을 남기지 않는다. 그런데 안 되는 일 목록이야말로 나중에 도구가 좋아졌을 때 제일 먼저 다시 꺼내 볼 자산이다. 반년 뒤 같은 목록을 다시 던져 보면 절반은 이미 되는 일이 되어 있다.

조직이 볼 지표는 사용률이 아니라 분포다

격차가 문제라면 측정도 격차를 봐야 한다. 사용률은 몇 명이 로그인했는지를 알려 줄 뿐 누가 무엇을 할 수 있게 됐는지는 알려 주지 않는다. 평균값도 마찬가지다. 상위 몇 사람이 평균을 끌어올리면 중간층이 제자리여도 숫자는 좋아 보인다.

그래서 봐야 할 것은 분포다. 상위 몇 명이 무엇을 해냈는지가 아니라, 중간에 있는 사람이 지난달보다 무엇을 더 할 수 있게 됐는가. 이 질문에 답할 수 있으면 그 조직은 AX를 관리하고 있는 것이고, 답할 수 없으면 도구만 산 것이다.

측정은 거창할 필요가 없다. 팀원 각자에게 분기마다 두 줄만 받아도 된다. 지난 분기에 AI에 맡겨 성공한 업무 하나, 맡겼다가 실패한 업무 하나. 이 두 줄이 쌓이면 누가 어디쯤 있고 어떤 종류의 일에서 조직 전체가 막히는지가 드러난다.

숫자를 붙이고 싶다면 '이 사람이 혼자 처리할 수 있게 된 업무의 종류가 몇 개 늘었는가'가 사용 횟수보다 훨씬 정직한 지표다. 횟수는 습관을 재고, 종류는 역량을 잰다.

격차를 좁히는 장치 네 가지

첫째, 잘 쓰는 사람의 화면을 공개한다. 결과물이 아니라 과정이다. 무엇을 어떻게 시켰고 첫 답이 어떻게 틀렸으며 어떤 말로 고쳤는지를 그대로 보여 준다. 완성된 프롬프트만 공유하면 남는 게 없다. 사람들이 배우는 건 문장이 아니라 판단의 순서다.

둘째, 실패를 자산으로 다룬다. 안 되는 일 목록을 팀 단위로 모아 두고 분기마다 다시 시험한다. 앞서 말했듯 이 목록은 도구가 좋아질 때마다 절반씩 되는 일로 바뀐다. 실패를 지우는 조직은 그 이득을 못 가져간다.

셋째, 시간을 제도로 준다. 격차의 상당 부분은 재능이 아니라 시간 배분에서 온다. 잘 쓰는 사람은 이미 시간을 벌어서 그 시간을 다시 익히는 데 쓰고 있다. 아직 못 쓰는 사람에게는 그 시간이 없다. 주 30분이라도 업무 시간 안에 실험 시간을 넣어 주는 편이, 퇴근 후에 알아서 배우라고 하는 것보다 확실하다.

넷째, 도메인 지식이 있는 사람을 앞에 세운다. 이재욱 교수는 최근 AI 공모전에서 입상하는 사람들 중에 특정 도메인의 좋은 문제를 갖고 있는 사람이 많다는 점을 짚었다. 조직 안에서도 마찬가지다. 도구를 제일 잘 아는 사람보다, 풀 가치가 있는 문제를 알고 있는 사람이 앞에 서야 결과가 나온다.

흔한 오해 세 가지

'교육을 하면 해결된다.' 절반만 맞다. 되는 일의 범주는 교육으로 빠르게 늘릴 수 있다. 그러나 한계 감각은 직접 맡겨 보고 틀린 답을 받아 본 경험에서만 생긴다. 그래서 교육은 강의보다 각자의 실제 업무를 들고 오는 실습 형태여야 남는다.

'더 좋은 모델이 나오면 따라잡힌다.' 오히려 반대다. 모델이 좋아질수록 시킬 수 있는 일의 목록이 넓어지고, 그 목록을 아는 사람과 모르는 사람의 거리도 함께 벌어진다. 도구의 발전은 격차를 좁히는 힘이 아니라 벌리는 힘으로 작동한다.

'결국 잘하는 사람에게 몰아주면 된다.' 단기적으로는 효율적이다. 문제는 그 사람이 아는 것이 조직에 남지 않는다는 점이다. 한 사람이 나가면 그 역량도 함께 나간다. 격차 관리는 공정성 문제이기 전에 조직이 배운 것을 조직에 남기는 문제다.