말하지 않은 기준은, AI가 대신 정합니다

들어가며 — 스무 개 중 하나

있을 법한 장면 하나로 시작하겠습니다.

어느 팀이 사내 경비 시스템에서 지난해 결제 내역을 통째로 내려받았습니다. 사만 건이 넘습니다. 질문은 단순합니다. 작년에 출장이 몇 건이었나.

거기서 출장 관련 결제만 추리면 천육백 건쯤 남습니다. 결제는 건별로 찍히니까, 며칠에 걸친 결제들을 하나의 출장으로 묶어야 비로소 “몇 건”이라는 답이 나옵니다.

담당자는 답을 이미 알고 있습니다. 예전에 직접 정리해 둔 표가 있고, 거기엔 235건으로 적혀 있습니다. 이번에는 같은 파일을 AI에 올리고 같은 질문을 던졌습니다.

화면에 뜬 숫자는 293건이었습니다.

다시 시켰습니다. 293. 파일을 새로 올려서 또 시켰습니다. 293.

여기서 대부분 두 갈래로 생각이 갑니다. 데이터가 잘못됐나, 아니면 AI가 계산을 틀렸나. 그런데 나머지 숫자를 하나씩 대조해 보면 이상한 일이 벌어집니다. 총 결제 건수도 맞고, 취소 건수도 맞고, 부서별 비중도 맞고, 건당 평균 금액도 맞습니다. 대조한 숫자 스무 개 중 열아홉 개가 맞고, 딱 하나만 틀립니다.

이 사실 하나가 원인을 거의 확정해 줍니다.

1. 다 틀리면 데이터 문제, 하나만 틀리면 말의 문제입니다

원인을 좁히는 데 쓸 수 있는 감별법이 하나 있습니다.

데이터가 잘못됐으면 틀린 숫자가 하나로 끝나지 않습니다. 행이 빠졌거나 중복됐으면 총계도 흔들리고 평균도 흔들립니다. 오염은 번집니다. 특정 열 하나만 깨진 경우에도 마찬가지입니다. 그 열을 쓰는 지표들이 함께 어긋납니다. 어느 쪽이든 혼자 틀리지는 않습니다.

AI가 계산을 놓친 경우에도 흔적이 다릅니다. 대개 매번 다른 값이 나오거나, 자릿수가 어긋나거나, 같은 유형의 집계가 함께 어긋납니다.

그런데 이 장면은 둘 다 아닙니다. 열아홉 개가 맞고 하나가 틀렸고, 그 하나는 몇 번을 다시 시켜도 똑같이 293입니다. 흔들리지 않는다는 건 AI가 대충 답한 게 아니라 어떤 규칙을 일관되게 적용하고 있다는 뜻입니다.

즉 계산은 정확했습니다. 다만 그 계산이 서 있는 규칙이 사람 머릿속 규칙과 달랐던 겁니다. 이건 데이터의 문제도 성능의 문제도 아니고, 주고받은 말의 문제입니다.

2. 문장 안에 아무도 안 채운 칸이 하나 있었습니다

담당자가 준 문장은 이랬습니다.

날짜가 붙어 있는 결제끼리 하나의 출장으로 묶어줘.

읽어 보면 아무 문제가 없습니다. 회의실에서 옆자리 동료에게 이렇게 말하면 그대로 알아듣습니다.

문제는 “붙어 있는”입니다.

AI는 이걸 하루도 안 비는 것으로 읽었습니다. 결제가 하루라도 없으면 다른 출장입니다. 그래서 293건이 나왔습니다.

담당자 머릿속의 “붙어 있는”은 달랐습니다. 출장 중에 주말이 끼면 결제가 이틀쯤 없습니다. 이동만 하고 지출이 없는 날도 있습니다. 그래도 같은 출장이죠. 그 팀은 오래전부터 이틀까지는 같은 출장으로 세어 왔습니다. 그래서 235건이었습니다.

허용 간격만 바꿔 가며 다시 세어 보면 답이 이렇게 갈립니다.

정해지지 않은 칸 하나가 답을 세 갈래로 가릅니다. 받은 답이 어느 갈래인지는 화면에 안 적혀 있습니다.

셋 다 계산은 옳습니다. 서로 다른 질문에 정확하게 답했을 뿐입니다.

그리고 여기가 중요합니다. 받은 답이 셋 중 어느 갈래인지는 결과 화면 어디에도 안 적혀 있습니다. 293이라는 숫자만 단정하게 떠 있을 뿐입니다.

3. 안 준 기준은 AI가 채웁니다. 그리고 티가 안 납니다

이 글의 핵심은 이 한 줄입니다.

사람은 빈칸을 만나면 대개 되묻습니다. 후배에게 “붙어 있는 결제끼리 묶어 줘”라고 시키면 잠깐 있다가 “주말 끼면 어떻게 할까요”가 돌아옵니다. 그 되물음이 빈칸을 드러내 줍니다.

AI는 대체로 안 되묻습니다. 그렇다고 빈칸을 비워 두지도 않습니다. 그럴듯한 값 하나를 골라 채우고, 그 위에서 끝까지 계산해서 완성된 결과를 내놓습니다.

그리고 이 채움은 오류가 아닙니다. 여기가 함정입니다.

오류라면 차라리 다행입니다. 에러 메시지가 뜨거나, 표가 깨지거나, 숫자가 비어 있으면 눈에 띕니다. 그런데 빈칸을 채워서 나온 결과는 틀린 답이 아니라 다른 답입니다. 형식이 멀쩡하고, 자릿수가 자연스럽고, 표가 예쁘게 정렬돼 있습니다. 검토하는 사람이 걸러 낼 단서가 없습니다.

이런 빈칸은 특별한 작업에서만 생기지 않습니다. 늘 같은 자리에 생깁니다.

기간의 경계 — “최근 3개월”이 오늘부터 거슬러 90일인지, 지난달 말일까지인지
포함과 제외 — 취소·환불 건, 테스트 계정, 내부 직원 건을 넣는지 빼는지
분모 — 비중을 건수로 재는지 금액으로 재는지
동일성 — 무엇을 같은 하나로 묶는지 (이 장면의 출장이 여기입니다)
동점 처리 — 상위 5개를 뽑는데 5위와 6위가 같은 값이면 어떻게 하는지

이 항목들의 공통점이 있습니다. 전문 지식이 아닙니다. 어려운 것도 아닙니다. 그 일을 오래 해 온 사람들 사이에서 이미 굳어진 합의일 뿐입니다.

그래서 어디에도 안 적혀 있습니다. 새로 온 사람에게는 옆에서 알려 주고, 몇 번 어긋나면서 자연스럽게 맞춰집니다. 그렇게 조직 안에서만 통용되던 규칙이, AI에게 일을 넘기는 순간 처음으로 아무도 알려 주지 않은 규칙이 됩니다.

4. “조건을 빠짐없이 적어라”는 반쪽 처방입니다

여기까지 읽으면 처방이 자명해 보입니다. 조건을 빠짐없이 쓰면 되겠네.

실제로 효과가 있습니다. 요청을 상황·요청·조건 세 덩어리로 나눠 쓰고, 조건 칸에 계산 규칙을 적어 두는 것만으로도 어긋남이 크게 줄어듭니다. 취소 건은 제외한다, 비중은 건수 기준이다, 주말은 토·일이다. 이런 줄들입니다. 좋은 프롬프트가 좋은 질문에서 나온다는 이야기의 실무판이기도 합니다.

그런데 이 처방에는 분명한 한계가 있습니다.

이 처방으로 막을 수 있는 건, 내가 정해 뒀다는 사실을 내가 알고 있는 기준뿐입니다.

앞 장면의 “이틀”이 그런 종류가 아니었습니다. 담당자는 자기가 그런 기준을 갖고 있다는 걸 인식하지 못한 상태였습니다. 몇 년째 그렇게 세어 왔으니 그건 기준이 아니라 그냥 사실처럼 느껴집니다. 정해 놓은 줄도 모르는 것을 조건 칸에 적을 수는 없습니다.

빠짐없이 적으려면 무엇이 빠졌는지 알아야 하는데, 그걸 알았으면 애초에 안 빠뜨렸을 겁니다. 이 처방은 자기 꼬리를 뭅니다.

부작용도 하나 있습니다. 조건을 남김없이 못 박을수록 AI는 판단하지 않는 받아쓰기 기계가 됩니다. 규칙을 다 정해 주고 실행만 맡기면 일을 맡긴 게 아니라 손만 빌린 것에 가까워집니다. 조건을 촘촘히 쓰는 방향으로만 밀면, 어긋남은 줄지만 얻는 것도 같이 줄어듭니다.

5. 채우게 두되, 채운 값을 말하게 합니다

그래서 처방을 뒤집는 편이 낫습니다. 빈칸을 내가 다 메우려 하지 말고, 채우는 건 맡기되 무엇으로 채웠는지를 밝히게 하는 겁니다.

앞 장면이라면 요청에 이 한 줄이 붙습니다.

며칠까지 비어도 같은 출장으로 볼지는 직접 정하세요. 단, 정한 기준을 결과 맨 위에 한 문장으로 반드시 밝혀 주세요.

한 줄인데 세 가지가 한꺼번에 해결됩니다.

첫째, 빈칸이 화면 위로 올라옵니다. 결과 맨 위에 “결제 간격 0일을 기준으로 묶었습니다”라는 문장이 뜹니다. 이제 어긋남이 숨을 자리가 없습니다. 숫자를 검산하기 전에, 그 숫자가 무엇을 무엇으로 세고 나온 값인지가 먼저 보입니다.

둘째, 내가 몰랐던 내 기준이 그때 드러납니다. 화면에 뜬 “0일”을 보는 순간 사람은 반사적으로 반응합니다. “0일이라고? 주말 껴도 같은 출장인데.” 이 순간이 중요합니다. 몇 년 동안 말이 된 적 없던 규칙이 처음으로 문장이 되는 자리입니다. AI가 되묻지 않았지만, 결과적으로 되물은 것과 같은 일이 일어납니다.

셋째, AI의 판단을 죽이지 않습니다. 기준을 스스로 정하게 두니 조건 칸을 무한정 늘릴 필요가 없습니다. 사람이 하는 일은 규칙을 전부 부르는 게 아니라, 밝혀진 규칙을 보고 다르면 고치는 것으로 바뀝니다.

일반형으로 줄이면 이 한 문장입니다.

이번 작업에서 임의로 정한 게 있으면, 결과 맨 위에 목록으로 적어 주세요.

데이터 집계에만 붙는 문장이 아닙니다. 어떤 도구든 어떤 일이든 그대로 붙습니다.

그리고 이건 검증의 한 형태이기도 합니다. AI가 됐다고 해도 일이 끝난 게 아니라는 이야기를 전에 한 적이 있는데, 그때 검증 대상은 산출물이었습니다. 여기서 검증 대상은 답이 아니라 답이 서 있는 전제입니다. AI가 무엇을 보고 답했는지 아무도 알려 주지 않는다는 문제의 짝이라고 봐도 됩니다. 무엇을 보고 답했는가와 무엇을 전제하고 답했는가는, 둘 다 결과 화면에 안 적히는 정보입니다.

6. 숫자 일만의 이야기가 아닙니다

빈칸은 데이터 작업에만 생기지 않습니다. 오히려 숫자 일에서는 어긋남이 티라도 납니다. 235와 293처럼 대조할 값이 있으니까요.

말로 하는 일에는 그 대조표조차 없습니다.

문서 요약 — “핵심만 뽑아 줘”의 핵심을 아무도 안 정했습니다. AI가 정합니다. 대개 분량이 많은 쪽이 핵심으로 뽑힙니다. 정작 중요한 한 줄은 짧아서 빠집니다.
메일 초안 — “정중하게”의 정도를 안 정했습니다. 거래처에 보낼 수준과 옆 팀에 보낼 수준은 다른데, 그 눈금은 각자 머릿속에만 있습니다.
일정 정리 — “이번 주”에 주말이 들어가는지, 오늘이 포함되는지를 안 정했습니다.
자료 조사 — “최신 자료”의 최신이 1년인지 3년인지를 안 정했습니다.

전부 사람끼리는 굳이 정하지 않고 넘어가는 칸입니다. 사람끼리는 그래도 됩니다. 서로 눈치로 맞춰지고, 어긋나도 대화 도중에 드러나니까요.

AI와의 작업에는 그 중간이 없습니다. 눈치도 없고, 어긋남이 드러날 자리도 없습니다. 한 번에 완성된 결과물로 옵니다. 그래서 빈칸을 채운 흔적이 결과물 안으로 매끄럽게 흡수됩니다.

마무리 — 고쳐야 할 건 숫자가 아니라 문장입니다

AI가 되묻지 않았다고 해서, 물어볼 게 없었던 건 아닙니다.

결과가 예상과 다르게 나왔을 때 순서를 하나만 바꿔 보시면 좋겠습니다. “AI가 틀렸나”를 묻기 전에 이걸 먼저 묻는 겁니다.

내가 정해 놓고 말하지 않은 게 뭐지.

특히 다 틀린 게 아니라 하나만, 그것도 몇 번을 다시 시켜도 똑같이 틀린다면 답은 대개 이쪽에 있습니다.

그리고 하나 더 있습니다. 열아홉 개가 맞고 하나가 틀렸을 때, 그 하나를 손으로 고치고 넘어가면 같은 빈칸이 다음 작업에도 그대로 남습니다. 다음 달에 같은 집계를 돌리면 다시 293이 나옵니다. 고쳐야 할 건 숫자가 아니라, 그 숫자를 만든 문장입니다.

정리하면 이렇습니다. 조건을 빠짐없이 적으려 애쓰기보다, 정한 기준을 밝히게 하는 편이 낫습니다. 앞의 방법은 내가 아는 것까지만 막아 주고, 뒤의 방법은 내가 몰랐던 것까지 꺼내 줍니다.

AI에게 준 문장에서 가장 위험한 단어는 어려운 단어가 아닙니다. 내가 뜻을 정확히 안다고 믿는 단어입니다.