모델 이름을 기록했는데도, 같은 결과가 나오지 않을 수 있습니다

석 달 전 결과와 오늘 결과를 나란히 놓아야 하는 날이 있습니다. 예로 만든 경우 하나를 보겠습니다.

석 달 전에 AI로 고객 문의를 분류한 보고서를 만들었고, 부록에 「사용 모델: ○○」이라고 성실하게 적어 두었습니다. 이번 분기에 같은 요청문, 같은 설정, 같은 모델 이름으로 다시 돌렸더니 분류 결과의 결이 눈에 띄게 달라졌습니다. 기타로 빠지는 문의가 줄었고, 설명 문장은 짧아졌습니다.

설정 파일 이력을 열어 봐도 바뀐 게 없습니다. 손댄 사람도 없고요. 기록은 분명히 있는데, 「같은 조건」이었다고 말할 근거가 없습니다.

한눈에 보기

핵심기록에 적은 모델 이름이 같아도, 실제로 답한 모델까지 같다는 보장은 없습니다.

• 같은 별명 요청에 적은 이름은 그대로
• 다른 시각 그사이 처리하는 모델이 바뀔 수 있음
• 실제 모델 응답이나 로그에서 따로 확인해야 함

바로 할 일결과를 저장할 때 요청한 이름 옆에 실행 시각과 응답 쪽 모델 값을 함께 남기기

---

1. 기록에 적힌 이름은 내가 보낸 값입니다

월요일 「주간 AI 동향 — 9월 둘째 주」에서, 한 제공사가 기존 모델 이름으로 들어온 요청을 새 모델이 처리하도록 바꿀 예정이라고 공지한 일을 전했습니다. 그때 달라진 결과가 원래 있던 흔들림인지 모델 교체 탓인지 가르려면, 같은 입력을 세 번 돌린 결과를 날짜와 함께 남겨 두자고 했고요.

오늘은 그보다 먼저 적어야 할 한 칸 이야기입니다. 그 결과를 실제로 만든 모델이 무엇이었느냐는 칸이요.

우리가 기록에 적는 모델 이름은 대개 설정 파일이나 요청문에 넣은 이름입니다. 말하자면 「이 모델로 답해 주세요」라고 부탁한 값이죠. 그 이름이 언제나 같은 모델 하나에 묶여 있다는 보장은 없습니다. 월요일의 공지처럼, 이름은 그대로 두고 그 이름으로 들어온 요청을 처리하는 모델만 바뀔 수 있습니다.

실제로 답한 모델의 흔적은 요청 쪽에는 없습니다. 남는다면 응답이나 실행 로그에서 찾아야 합니다. 도구에 따라 응답과 함께 처리한 모델 정보를 돌려주기도 하고, 아무것도 보여 주지 않기도 합니다. 어느 쪽이든, 요청에 적은 이름만 옮겨 적은 기록에는 그 흔적이 들어가지 않습니다.

---

2. 답이 달라지는 네 번째 원인은, 시킨 상대가 바뀐 경우입니다

「보여주려던 차이는 0.003이었고, 그냥 다시 돌리니 0.115가 움직였습니다」에서 같은 걸 시켰는데 답이 다른 원인을 셋으로 나눴습니다. 조건을 안 줬거나, 규칙을 말로만 줬거나, 계산 자체에 무작위가 들어 있거나.

이번 장면은 네 번째입니다. 시킨 상대가 바뀐 경우요.

문제는 이름만 적은 기록으로는 이 네 번째를 의심할 수조차 없다는 점입니다. 석 달 전 기록과 오늘 기록을 나란히 놓으면 둘 다 같은 이름이니, 모델은 가장 먼저 용의선상에서 빠집니다.

그래서 엉뚱한 곳을 고치기 시작합니다. 요청문을 다듬고, 입력 자료를 다시 보고, 누가 설정을 건드렸는지 묻습니다. 정작 달라진 건 이름 뒤에서 답한 모델일 수 있는데요.

어제 「남에게 줄 예시 답변 끝에, 제 개인 메일 규칙이 붙어 나왔습니다」에서는 같은 요청이 내 컴퓨터와 받는 사람 컴퓨터에서 다르게 나온 일을 썼습니다. 그게 어디서 돌렸느냐의 차이였다면, 오늘은 같은 자리에서 언제 돌렸느냐의 차이입니다.

---

3. 동작 — 요청한 이름과 응답 쪽 값을 나란히 적으십시오

나중에 다시 돌려 비교할 가능성이 있는 결과라면, 파일 맨 끝에 네 가지를 한 줄로 남깁니다.

제공사 · 요청한 모델 이름 · 실행 시각 · 응답 쪽 모델 값

예를 들면 이런 모양입니다.

제공사 A · 모델-별명 · 9월 18일 오전 10시 40분 · 응답 쪽 표시: 모델-날짜판

핵심은 두 번째와 네 번째 칸을 나란히 두는 데 있습니다. 쓰는 도구가 응답이나 로그에 처리한 모델 정보를 남긴다면, 그 값을 요청한 이름 옆에 그대로 옮깁니다. 두 값이 다르면 그 칸이 나중에 비교할 때 가장 먼저 볼 자리가 됩니다.

두 값이 같게 나왔다고 안심할 일은 아닙니다. 응답이 요청한 별명을 그대로 돌려준다면, 그 이름 뒤에서 처리한 내부 모델까지 같다는 보장은 되지 않습니다. 그래도 실행 시각이 함께 적혀 있으면, 제공사가 공지한 변경 시점과 맞춰 볼 수는 있습니다.

도구가 그런 정보를 보여 주지 않는다면 네 번째 칸에 「확인 불가」라고 적습니다. 확인 불가도 기록입니다. 결과가 달라진 날, 그때 확인할 수 없었다는 사실이 의심할 후보 하나를 남겨 줍니다.

채팅 화면에서 쓰는 분이라면 화면에 표시된 모델 이름은 두 번째 칸에 적습니다. 그건 내가 고른 이름이지 응답 쪽 값이 아니니까요. 실행 시각을 붙이고, 네 번째 칸은 「확인 불가」로 두시면 됩니다.

---

4. 한 줄이 쌓이면 「언제부터」를 물을 수 있습니다

이 한 줄이 쌓이면, 결과가 달라졌을 때 던지는 질문이 바뀝니다.

「왜 달라졌지?」에서 「언제부터 달라졌지?」로요.

앞의 질문은 막연해서 요청문부터 자료까지 전부 뒤지게 만듭니다. 뒤의 질문은 기록을 날짜순으로 훑으면 좁혀집니다. 어느 시점부터 응답 쪽 값이 바뀌었는지, 아니면 값은 그대로인데 결과만 달라졌는지. 둘 중 어느 쪽인지만 알아도 어디부터 볼지가 정해집니다.

---

마무리

모델 이름을 적어 두는 습관은 이미 좋은 출발입니다. 모자란 건 그 옆의 두 칸, 실행 시각과 응답 쪽 값입니다.

다음에 비교할 결과를 저장할 때는 결과 파일 끝에 「제공사 · 요청한 모델 이름 · 실행 시각 · 응답 쪽 모델 값」을 한 줄로 나란히 적어 두십시오. 응답 쪽 값을 알 수 없으면 「확인 불가」라고 적고, 두 이름이 같게 나왔더라도 시각은 꼭 남깁니다. 석 달 뒤 결과가 달라졌을 때, 어디부터 볼지는 그 한 줄이 알려 줍니다.