모델을 바꾸기 전에, 쓰는 법을 바꾸세요
- 일하는방식
- 모델선택
- 프롬프트
- AI활용
들어가며 — “지금 제일 좋은 모델이 뭐예요?”
교육 현장에서 가장 자주 받는 질문 중 하나입니다. “요즘 제일 좋은 모델이 뭐예요? 그걸로 바꾸면 결과가 나아지겠죠?” AI를 쓰다 결과가 기대에 못 미치면, 사람들은 거의 반사적으로 모델을 의심합니다. 더 최신이고 더 비싼 모델로 갈아타면 답이 좋아질 거라고요.
이해가 갑니다. 매달 새 모델이 나오고, 벤치마크 순위가 바뀌고, 뉴스는 “역대 최강”을 반복하니까요. 그런데 저는 이 질문을 받을 때마다 방향을 조금 틀어 드립니다. 모델을 바꾸기 전에, 쓰는 법부터 보자고요. 이유는 두 가지입니다.
1. 최신 모델도, 이미 낡아 있습니다
첫째, 최신 모델이라고 최신 정보를 아는 게 아닙니다.
모든 모델에는 학습이 멈춘 시점, 즉 지식 컷오프가 있습니다. 그 뒤로 세상에 일어난 일은 아무리 최신 모델이라도 모릅니다. 그리고 이 컷오프는 우리 생각보다 훨씬 뒤에 있어요. 지금 가장 앞선 모델들조차 세계 지식이 대략 2025년 말에서 2026년 초에 멈춰 있습니다. 널리 쓰이는 조금 이전 세대 모델은 1~2년씩 뒤처져 있고요.
이건 게으름이 아니라 구조입니다. 거대한 모델을 학습시키고, 검증하고, 안정화해서 세상에 내놓기까지 시간이 걸리기 때문에, 학습 데이터의 마감은 출시보다 보통 몇 달에서 1년 이상 앞섭니다. 한 연구는 실제로 모델이 밝힌 컷오프보다 신뢰할 수 있는 지식의 경계가 더 앞당겨져 있는 경우가 많다는 것까지 짚었습니다(Dated Data, 2024). 다시 말해, “최신 모델 = 최신 정보”는 착각입니다.
그래서 최신 정보가 필요하다면, 답은 더 새 모델로 갈아타는 게 아닙니다. 지금 쓰는 모델에게 웹으로 오늘 기준을 확인시키는 것 — 그게 사용 방식의 문제죠. 이건 이 블로그에서 AI는 어제를 기억하지 못하니 최신은 사람이 확인해야 한다고 했던 이야기와 정확히 같은 자리입니다. 모델의 기억은 과거 어느 시점에 얼어 있고, 오늘의 사실은 오늘 열어 봐야 압니다.
2. 같은 모델도, 쓰는 법이 결과를 가릅니다
둘째, 그리고 이게 더 중요한데 — 같은 모델이라도 어떻게 쓰느냐에 따라 결과가 크게 갈립니다.
워싱턴대 연구진이 재미있는 실험을 했습니다. 뜻은 똑같은데 형식만 살짝 다른 프롬프트들 — 띄어쓰기, 구두점, 항목을 나열하는 방식 정도만 바꾼 — 을 같은 모델에 넣어 봤어요. 그랬더니 정확도가 최대 76점까지 벌어졌습니다. 내용이 아니라 형식만 바꿨는데요. 더 무서운 건, 이 편차가 모델을 더 키우거나 인스트럭션 튜닝을 해도 사라지지 않았고, 잘 통하는 형식이 모델마다 달라 서로 옮겨지지도 않았다는 점입니다(Sclar et al., 2024).
반대 방향의 증거도 있습니다. 그 유명한 “생각의 사슬(chain-of-thought)” 연구는, 모델을 바꾸지 않고 “단계별로 생각해 보라”는 식의 안내 몇 줄을 얹은 것만으로 수학·추론 성능이 크게 도약해, 검증기까지 붙여 미세조정한 이전 모델을 넘어서는 걸 보여 줬습니다(Wei et al., 2022). 모델을 한 세대 올린 게 아니라, 시키는 방식을 바꾼 것뿐인데요.
두 연구가 같은 말을 합니다. 같은 모델 안에 이미 켜지지 않은 성능이 잔뜩 잠들어 있고, 그걸 깨우는 건 더 비싼 모델이 아니라 더 나은 사용 방식이라는 거죠. 모델 세대를 하나 올려서 얻는 차이보다, 쓰는 법을 바꿔서 얻는 차이가 더 클 수 있습니다.
3. 그러니 충동의 방향을 바꿉니다
이 두 가지를 알고 나면, 결과가 아쉬울 때 튀어나오는 충동의 방향이 바뀝니다.
예전 같으면 “더 좋은 모델 없나” 하고 모델 탭을 뒤졌다면, 이제는 세 가지를 먼저 묻습니다. 맥락을 충분히 줬는가 — AI가 알아야 할 배경과 자료를 내가 제대로 넣었는지. 최신이 필요한 부분은 확인시켰는가 — 오늘 기준 사실을 웹으로 짚게 했는지. 결과를 검증했는가 — 됐다는 말과 실제로 맞는 건 다르니까요. 이 셋을 손보는 것만으로 대개 모델을 바꾼 것보다 큰 차이가 납니다.
기업 담당자라면 예산의 방향도 같이 바뀝니다. 다음 분기에 “더 비싼 모델 구독”에 돈을 더 쓸 게 아니라, 사람들이 그 모델을 잘 쓰도록 — 맥락을 설계하고, 검증을 습관으로 만들고, 잘 된 사용 방식을 팀이 공유하도록 — 하는 데 쓰는 편이 회수가 큽니다. 실제로 성능이 평준화될수록 갈리는 변수는 ‘어떤 모델’이 아니라 ‘어떻게 쓰나’로 이미 넘어와 있습니다.
4. 모델은 낡고 바뀌지만, 쓰는 법은 남습니다
지난 한 달만 봐도 모델 세계는 요동쳤습니다. 가장 강한 모델이 규제로 하룻밤 새 막혔다가 몇 주 뒤 복원되고, 기본 모델이 바뀌고, 버전 숫자가 계속 올라갔죠. 이런 판에서 “지금 제일 좋은 모델”을 좇는 일에는 끝이 없습니다. 오늘의 최강은 다음 달의 구형이고, 그 최강조차 지식은 몇 달 전에 멈춰 있으니까요.
그래서 오래 남는 건 모델이 아닙니다. 그 모델에게 무엇을, 어떻게 시킬지 아는 능력입니다. 모델이 바뀌어도 맥락을 주는 법, 형식을 다듬는 법, 결과를 검증하는 법은 그대로 통합니다. 이건 AI 활용능력이 아는 기능의 수가 아니라 일을 맡기는 깊이라고 했던 것의 가장 구체적인 장면이기도 합니다.
이건 교육 담당자만의 이야기가 아닙니다. AI를 쓰는 누구에게나 해당하죠. 오늘 AI가 내놓은 결과가 아쉬웠다면, 모델 탭을 바꾸기 전에 한 번만 되물어 보세요. 나는 무엇을, 어떻게 시켰는가. 대개 답은 더 좋은 모델이 아니라, 더 나은 한 번의 질문에 있습니다.