더 좋은 모델로 바꿨는데, 결과는 나빠졌습니다

들어가며 — “좋다길래 바꿨는데, 예전만 못해요”

요즘 현장에서 자주 듣는 말입니다. 새 모델이 나왔고, 좋다는 이야기가 많길래 바꿨는데, 이상하게 예전만 못하다는 겁니다.

저는 쓰던 모델이 바뀌면 늘 하는 게 있습니다. 제 일 중에 몇 개를 골라, 예전과 똑같은 지시문으로 다시 돌려 봅니다. 과정 설계 하나, 글 초안 하나, 코드 하나. 그러면 그 모델이 제 일에서 실제로 어떤지 금방 보입니다.

그러다 이런 일을 만납니다. 발표된 점수는 분명히 올랐는데, 제 손에 들어오는 결과는 전보다 아쉽습니다. 특히 방향을 잡거나 글의 결을 다듬는 일에서요.

처음 들으면 이상합니다. 더 좋아진 게 어떻게 더 나빠지죠?

답은 생각보다 단순합니다. 좋아진 방향이 내가 하는 일 쪽이 아니었던 겁니다.

---

1. 새 모델은 ‘전보다 다 잘하게’ 나오지 않습니다

우리는 새 모델이 나오면 이렇게 상상합니다. 예전 모델을 통째로 한 칸 위로 올린 것. 그래서 무슨 일을 시키든 조금씩 다 나아진 것.

실제로는 그렇지 않습니다. 새 모델은 어느 쪽으로 더 다듬어져 나옵니다.

만든 회사들이 이걸 숨기지도 않습니다. 새 모델 발표문을 읽어 보면 이번에 무엇을 좋게 만들었는지 자기 입으로 말합니다. 코딩, 도구 사용, 수학, 긴 작업 처리처럼요. 그 목록에 없는 항목은 “나빠졌다”는 뜻은 아니지만, “더 좋아졌다”는 뜻도 아닙니다.

증거는 하나 더 있습니다. 같은 회사가 비슷한 시기에 여러 모델을 같이 팝니다. 하나가 모든 면에서 이겼다면 나머지를 팔 이유가 없습니다. 여러 개를 나란히 두는 이유는 하나뿐입니다. 서로 잘하는 쪽이 다르기 때문입니다.

그래서 이런 일이 생깁니다. 새 모델이 코딩과 계산 쪽으로 다듬어졌다면, 그쪽 일을 하는 사람은 확실히 좋아졌다고 느낍니다. 같은 시기에 기획서를 쓰고 방향을 잡는 사람은 “왜 예전만 못하지”라고 느낍니다. 둘 다 맞는 말입니다. 같은 모델을 서로 다른 일에 쓰고 있으니까요.

신발로 바꿔 보면 쉽습니다. 최신 러닝화는 예전 등산화보다 비싸고 기술도 많이 들어갔습니다. 그런데 그걸 신고 산에 가면 발이 아픕니다. 신발이 나쁜 게 아닙니다. 그 신발이 잘하는 일이 그게 아닐 뿐입니다.

---

2. 그럼 “모델 말고 쓰는 법”은 틀린 말인가요

제가 얼마 전에 모델을 바꾸기 전에 쓰는 법을 바꾸라고 쓴 적이 있습니다. 오늘 이야기와 부딪히는 것처럼 보일 수 있어서 짚고 갑니다.

두 이야기는 서로 다른 걸 말합니다.

• 그때 말린 것은 위로 갈아타기입니다. 결과가 아쉬우니 더 비싸고 더 새로운 걸로 올리자는 충동이요. 이건 대개 답이 아닙니다. 맥락을 안 줬거나, 웹을 안 확인시켰거나, 검증을 안 한 문제인 경우가 훨씬 많습니다.
• 오늘 말하는 것은 옆으로 맞추기입니다. 등급을 올리는 게 아니라 종류를 바꾸는 것이요.

그래서 순서가 있습니다. 먼저 쓰는 법을 봅니다. 원하는 걸 제대로 설명했는지, 필요한 자료를 줬는지, 나온 걸 확인했는지. 여기서 해결되는 게 대부분입니다. 그런데도 계속 결이 어긋난다면, 그때는 모델 종류를 의심할 차례입니다.

한 줄로 줄이면 이렇습니다. 모델 고르기는 더 좋은 걸 고르는 일이 아니라, 맞는 걸 고르는 일입니다.

---

3. 기준은 작업 이름이 아닙니다

여기서 많이들 이렇게 나눕니다. “보고서 쓰기는 A, 엑셀은 B, 코딩은 C.”

이 방식은 얼마 못 갑니다. 같은 “보고서 쓰기”라도 전략 방향을 잡는 보고서와 숫자를 정리하는 보고서는 전혀 다른 일이니까요.

그래서 저는 작업 이름 대신 이걸 봅니다. 이 일은 잘못될 때 어디서 잘못되나.

이 일은 어디서 틀어지나	어떤 일이 그런가	무엇을 고르나
방향을 잘못 잡는다	기획, 전략 판단, 과정 설계	제일 깊이 생각하는 모델
문장의 결이 무너진다	글, 스크립트, 안내문	문장이 좋은 모델
사실이나 계산이 틀린다	코딩, 데이터 처리, 양식 맞추기	정확한 쪽으로 다듬어진 모델
느리고 비싸다	요약, 형식 변환, 반복 작업	가볍고 빠른 모델
정보가 낡았다	최신 동향, 조사	여기는 모델로 안 고쳐집니다

마지막 줄이 중요합니다. 정보가 낡아서 생기는 문제는 모델을 바꿔서 해결되지 않습니다. 아무리 최신 모델이라도 학습이 멈춘 시점이 있고, 그 뒤의 일은 모릅니다. 이건 웹을 확인시키는 것, 즉 쓰는 법의 문제입니다.

그래서 이 표는 “모델을 바꾸면 다 된다”는 표가 아닙니다. 모델을 바꿔서 되는 칸과 안 되는 칸을 나누는 표입니다.

---

4. 표를 못 외워도 됩니다 — 질문 세 개

현장에서는 표를 펴 놓고 일하지 않습니다. 그래서 저는 세 가지만 묻습니다. 일을 시작하기 전 5초면 됩니다.

① 내가 원하는 결과를 한 문장으로 쓸 수 있나요? 못 쓰겠다면, 그건 아직 답을 만드는 일이 아니라 방향을 잡는 일입니다. 제일 깊이 생각하는 모델을 씁니다. 그리고 답을 받으려 하지 말고 같이 정리해 달라고 합니다.

② 맞았는지 기계로 확인되나요? 코드가 돌아간다, 합계가 맞는다, 형식이 규격에 맞는다처럼요. 확인이 되는 일이면 정확한 쪽으로 다듬어진 모델이 유리합니다. 반대로 “이게 잘 쓴 글인가”처럼 사람이 읽어야 아는 일이라면 그쪽은 다른 모델의 자리입니다.

③ 같은 걸 열 번 넘게 할 일인가요? 그렇다면 가볍고 빠른 모델로 내려도 손해가 거의 없습니다. 회의록 정리, 형식 바꾸기, 메일 초안 같은 일에 제일 비싼 모델을 붙이는 건, 마트 장 보러 가면서 트럭을 부르는 것과 비슷합니다.

세 질문 모두 모델에 대한 질문이 아닙니다. 내 일에 대한 질문입니다. 그게 핵심입니다.

---

5. 모델 이름은 화면에서 사라지는 중입니다

여기서 한 가지 짚고 갈 게 있습니다. 앞으로는 모델을 고를 일 자체가 줄어들 겁니다.

실제로 그렇게 가고 있습니다. 지난 7월, 마이크로소프트 365 코파일럿 화면에서 모델 이름이 통째로 사라졌다가 이튿날 돌아온 일이 있었습니다. 선택 기능이 없어진 건 아니고 지금도 이름으로 고를 수 있습니다. 다만 화면 앞에 놓이는 선택지가 모델 이름이 아니라 “빠른 응답 / 깊이 생각” 같은 응답 방식으로 바뀌었습니다. 마이크로소프트는 모델 이름을 앞세우는 방식에서 벗어나겠다고 밝혔습니다.

이걸 “이제 안 골라도 되겠네”로 읽으면 절반만 읽은 겁니다. 사라진 건 이름이지 선택이 아닙니다.

질문이 바뀌었을 뿐입니다. 예전엔 “무슨 모델 쓰세요?”였고, 이제는 “이거 빨리 받을 일이에요, 깊게 볼 일이에요?”입니다. 그리고 뒤쪽 질문에는 도구가 대신 답해 줄 수 없습니다. 지금 하려는 이 일이 어떤 일인지는 그 일을 하는 사람만 압니다.

오히려 이름이 사라질수록 남는 몫이 분명해집니다. 모델 이름을 외운 지식은 값이 빨리 떨어지고, 내 일이 어떤 일인지 말할 수 있는 능력은 그대로 남습니다.

---

마무리 — 지금 이 일은, 어디서 틀어지나요

정리하면 이렇습니다.

새 모델은 전보다 다 잘하게 나오지 않습니다. 어느 쪽으로 더 다듬어져 나옵니다. 그래서 순위표에서 올라간 모델이 내 일에서는 아쉬울 수 있습니다. 그건 모델이 나빠진 게 아니라 결이 어긋난 겁니다.

그렇다고 매번 최신으로 갈아탈 필요도 없습니다. 결과가 아쉬울 때 먼저 볼 것은 여전히 쓰는 법입니다. 그래도 계속 어긋난다면, 그때 종류를 바꿉니다.

모델 이름은 반년이면 또 바뀝니다. 오늘 외운 이름은 내년에 쓸모가 없습니다. 그런데 내 일을 어디서 틀어지는지로 나눠 보는 습관은 모델이 몇 번 바뀌어도 그대로 씁니다. 새 모델이 나오면 이름을 외우는 대신, 내가 이미 나눠 둔 칸에 넣어 보면 되니까요.

그래서 모델 선택은 좋은 모델을 고르는 일이 아닙니다. 내 일이 어디서 틀어지는지 아는 일입니다.

지금 하려는 그 일은, 어디서 틀어지나요?