AI는 매달 똑똑해지는데, 왜 나는 그대로일까?
벤치마크 점수와 실제 생산성 사이의 괴리
AI 업계는 거의 매달 축제를 연다.
새로운 모델이 나온다.
벤치마크 점수가 오른다.
유튜브 썸네일에는 이런 문장이 붙는다.
"미쳤다."
"이제 인간 개발자 끝났다."
"역대 최고의 모델."
댓글도 비슷하다.
"혁명이다."
"이번엔 진짜다."
퇴근하고 집에 와서 직접 써본다.
그리고 몇 분 뒤 이런 생각이 든다.
"음... 그래서 뭐가 달라진 거지?"
아마 많은 사람들이 한 번쯤은 느껴봤을 감정일 것이다.
분명 AI는 더 똑똑해지고 있다.
그런데 이상하게도 내 하루는 크게 달라지지 않는다.
AI는 지수함수적으로 발전한다
AI의 발전 속도는 놀라울 정도다.
몇 년 전만 해도 문장을 자연스럽게 이어가는 것만으로 놀라워했다.
이제는 코드를 작성하고, 문서를 분석하고, 이미지를 만들고, 음성을 생성한다.
모델은 더 긴 문맥을 이해하고, 더 복잡한 추론을 수행하고, 더 적은 실수를 한다.
분명 발전하고 있다.
아마 앞으로도 계속 발전할 것이다.
문제는 다른 곳에 있다.
인간의 적응 속도는 모델의 발전 속도를 따라가지 못한다.
새로운 모델은 매달 나오지만, 새로운 사용법은 매달 생기지 않는다.
도구는 바뀌는데, 일하는 방식은 그대로다.
인간의 병목은 점점 AI 바깥으로 이동한다
초기의 병목은 명확했다.
글을 쓰는 능력.
코드를 작성하는 능력.
번역하는 능력.
이미지를 만드는 능력.
AI는 이런 문제들을 상당 부분 해결했다.
하지만 이상하게도 생산성의 문제는 사라지지 않았다.
대신 병목이 이동했다.
이제 중요한 질문은 이것이다.
무엇을 만들 것인가.
어떤 결과물을 선택할 것인가.
어떤 방향으로 수정할 것인가.
무엇을 버릴 것인가.
AI는 선택지를 늘려준다.
하지만 선택은 여전히 사람이 해야 한다.
오히려 선택지가 많아질수록 판단의 중요성은 더 커진다.
AI가 똑똑해질수록 인간의 역할이 줄어드는 것이 아니라, 오히려 더 인간적인 영역으로 이동하는 셈이다.
GPT가 더 좋아졌는데 왜 체감은 없을까
대부분의 사람들이 AI로 하는 일은 생각보다 비슷하다.
메일 작성.
문서 요약.
번역.
아이디어 정리.
브레인스토밍.
사실 이런 작업들은 이미 몇 년 전의 모델도 충분히 잘했다.
새로운 모델이 더 똑똑해진 것은 맞다.
하지만 우리가 하고 있는 작업은 이미 오래전에 "충분히 좋은 수준"에 도달해 있었는지도 모른다.
마치 이런 것과 비슷하다.
최신 CPU는 몇 년 전보다 훨씬 빨라졌다.
하지만 인터넷 검색과 유튜브 시청만 하는 사람에게는 그 차이가 크게 느껴지지 않는다.
병목이 CPU에 있지 않기 때문이다.
AI도 비슷하다.
많은 경우 우리의 병목은 모델 성능이 아니라 활용 방식에 있다.
우리는 모델을 업그레이드하지만 워크플로우는 업그레이드하지 않는다
사람들은 자주 묻는다.
"새 모델 써봤어?"
"이번 모델 어떄?"
"벤치 점수 얼마나 올랐대?"
하지만 더 중요한 질문은 이것이다.
"당신은 AI를 어떻게 쓰고 있는가?"
같은 모델을 사용해도 결과는 놀랄 만큼 달라진다.
누군가는 질문 하나를 던지고 답변 하나를 읽는다.
누군가는 초안을 만들고, 비판하게 하고, 다시 수정하고, 자동화에 연결하고, 검수한다.
차이는 모델에서 나오지 않는다.
사용 방식에서 나온다.
더 강력한 모델이 더 높은 생산성을 보장하지는 않는다.
더 나은 워크플로우가 더 높은 생산성을 만든다.
어쩌면 나도 AI를 제대로 쓰고 있지 않은 건 아닐까
가끔 그런 생각을 한다.
새로운 모델이 나올 때마다 벤치마크를 찾아본다.
토큰 속도를 비교한다.
새로운 기능을 테스트한다.
그리고 만족한다.
"이번 모델 진짜 좋아졌네."
그런데 문득 이상한 기분이 든다.
나는 AI의 발전 속도를 따라가고 있는 걸까.
아니면 단지 새로운 모델을 수집하고 있는 걸까.
새로운 드라이버를 설치하고,
새로운 모델을 다운로드하고,
새로운 벤치마크를 확인한다.
하지만 정작 내 일하는 방식은 몇 달 전과 크게 달라지지 않았다.
AI는 매달 업그레이드되는데,
나는 같은 질문을 반복하고 있었다.
어쩌면 진짜 질문은 이것인지도 모른다.
"최신 모델을 쓰고 있는가?"
가 아니라,
"나는 작년보다 AI를 더 잘 활용하고 있는가?"
생각해보면 생산성을 바꿨던 순간들은 새로운 모델이 나왔을 때가 아니었다.
블로그 초안을 AI에게 맡기기 시작했을 때.
반복되는 코드를 자동화 파이프라인으로 넘겼을 때.
귀찮고 반복적인 작업들을 AI에게 위임하기 시작했을 때.
내 생산성을 바꾼 것은 모델 업그레이드가 아니라 워크플로우 업그레이드였다.
AI 시대의 격차는 모델 격차가 아니라 활용 격차다
2023년의 격차는 단순했다.
AI를 사용하는 사람과 사용하지 않는 사람.
하지만 지금은 다르다.
대부분의 사람들은 이미 AI를 사용한다.
이제 경쟁력은 사용 여부가 아니다.
활용 깊이다.
AI를 검색창처럼 사용하는 사람.
AI를 자신의 업무 흐름 안에 녹여낸 사람.
앞으로 벌어질 격차는 아마 여기에서 시작될 것이다.
며칠 전 나도 새로운 모델 하나를 내려받아 테스트했다.
벤치마크는 좋아졌다.
응답 품질도 좋아졌다.
코드도 조금 더 잘 작성했다.
유튜브에서는 또 "미쳤다"는 반응이 쏟아졌다.
그런데 내 블로그 자동화 파이프라인의 품질이 갑자기 두 배 좋아지지는 않았다.
병목이 모델에 있지 않았기 때문이다.
어떤 주제를 선택할 것인가.
어떤 방향으로 수정할 것인가.
어떤 글은 버리고 어떤 글은 살릴 것인가.
결국 가장 오래 걸리는 일은 생성이 아니라 판단이었다.
어쩌면 우리는 AI 발전 속도를 따라가지 못하는 것이 아니다.
이미 충분히 빠른 AI를 가지고 있으면서도,
아직 그것을 어떻게 써야 하는지를 배우는 중인지도 모른다.
AI 시대의 가장 큰 격차는 모델 격차가 아니다.
활용 격차다.
그리고 어쩌면 앞으로 가장 희소한 자원은 GPU도, 토큰도, 벤치마크 점수도 아닐지 모른다.
좋은 질문을 던질 수 있는 사람.
좋은 결과를 선택할 수 있는 사람.
그리고 AI를 자신의 일과 연결할 수 있는 사람.
결국 마지막 경쟁력은 여전히 사람에게 남아 있다.
그리고 어쩌면 AI 시대의 가장 중요한 질문도 이것인지 모른다.
"최신 모델을 쓰고 있는가?"
가 아니라,
"나는 작년보다 AI를 더 잘 활용하고 있는가?"
— DevSnack