틀린 말은 없었는데, 헛수고였습니다

들어가며 — 세 번 묻는 동안 사흘이 지났습니다

있을 법한 장면 하나로 시작하겠습니다.

월간 정산 리포트에 당연히 잡혀야 할 거래 한 건이 안 보입니다. 담당자가 조회 조건과 원본 데이터를 AI에게 넘기고 묻습니다.

이 건이 왜 리포트에 안 나오죠?

답이 옵니다. “거래일이 조회 기간 밖입니다. 기간을 넓혀 보세요.” 확인해 보니 맞는 말입니다. 기간을 넓혀 다시 돌립니다. 여전히 안 나옵니다.

다시 묻습니다. “상태가 ‘취소’로 되어 있어 집계에서 제외됩니다.” 이것도 맞는 말입니다. 조건을 조정하고 다시 돌립니다. 또 안 나옵니다.

세 번째로 묻습니다. “계정 코드가 다른 부서로 잡혀 있습니다.” 이번에도 맞는 말이고, 이번에는 나옵니다.

여기까지 사흘이 걸렸습니다. 그런데 이 과정에서 AI는 한 번도 틀린 말을 하지 않았습니다. 세 답 모두 사실이었고, 세 번 다 확인해 보니 정확했습니다.

문제는 다른 데 있었습니다. 매번 하나였다는 것.

1. AI는 이유를 찾으면 거기서 멈춥니다

이걸 성능 문제로 보면 방향이 어긋납니다. 더 좋은 모델을 써도 같은 일이 일어납니다. 이건 답의 형태에서 오는 문제입니다.

세 가지가 겹쳐서 그렇습니다.

첫째, 물음이 단수형입니다. “왜 안 나오죠?”는 이유 하나를 요구하는 문장입니다. “이유들이 무엇인가요”라고 묻는 사람은 거의 없습니다. 우리는 원인이 하나라고 가정한 채로 묻습니다.

둘째, 답도 하나일 때 자연스럽습니다. “A 때문이고, 동시에 B 때문이고, 거기에 C도 걸립니다”는 사람이 잘 쓰지 않는 말투입니다. 원인을 하나 짚고 조치를 권하는 형식이 훨씬 매끄럽고, 매끄러운 쪽이 답으로 나옵니다.

셋째, 원인을 찾는 절차 자체가 먼저 걸린 데서 멈추게 되어 있습니다. 조건을 차례로 확인하다가 하나가 걸리면 답이 나온 겁니다. 나머지는 확인할 이유가 없어 보입니다. 효율적이고, 실제로 대부분의 경우에 맞습니다.

문제는 원인이 겹칠 때입니다. 그리고 원인이 겹쳤는지 아닌지는 답 안에 적히지 않습니다. “거래일이 조회 기간 밖입니다”라는 문장은 원인이 하나일 때도, 셋일 때도 똑같이 생겼습니다.

2. 이 답은 어떤 검사에도 걸리지 않습니다

여기가 이 문제의 고약한 지점입니다.

개인적으로 만들고 있는 연습용 앱에서 같은 일을 겪은 적이 있습니다. 어떤 동작이 막혔을 때 그 이유를 화면에 띄워 주는 기능이었습니다. 만들고 나서 확인 절차를 다 돌렸습니다.

이 기능만 보는 검사 스물세 개를 새로 짜서 돌렸습니다. 전부 통과.
기존 검사 천이백여 개도 같이 돌렸습니다. 전부 통과.
화면을 직접 열어 눈으로도 봤습니다. 안내 문구가 정확히 떠 있었습니다. 맞는 말이었습니다.

그런데 다른 조건으로 같은 자리를 다시 보니, 막힌 이유가 하나 더 있었습니다. 화면에 뜬 안내대로 하면 그 하나는 풀리지만 나머지 하나가 그대로라 결국 아무 일도 일어나지 않습니다. 문구는 참인데, 그 문구대로 움직이면 한 수를 버리는 상태였습니다.

왜 아무 검사도 울리지 않았을까요. 검사가 묻는 질문이 이것이기 때문입니다.

이 문장이 참인가?

문장은 참이었습니다. 통과가 맞습니다. 아무도 묻지 않은 질문은 이것이었습니다.

이 문장이 참인 전부인가?

이 둘은 다른 축입니다. 그래서 검사를 아무리 촘촘하게 늘려도 이 구멍은 안 메워집니다. 검사 항목을 백 개로 늘려도 백 개 전부 앞의 질문을 물으니까요.

이전에 검증의 빈자리는 주의가 아니라 장치로 메워야 한다는 이야기를 쓴 적이 있습니다. 거기서도 검사는 내가 물어본 것에만 답한다고 했습니다. 다만 그때 묻지 않은 자리로 빠져나간 건 틀린 것이었습니다. 그래서 처방이 “물음을 하나 더 얹어라”였고, 실제로 얹으면 잡혔습니다.

여기서 빠져나간 건 틀리지 않은 것입니다. 그래서 물음을 더 얹는 방향으로는 안 잡힙니다. 고쳐야 할 자리가 답을 검사하는 쪽이 아니라 답을 받기 전에 던진 물음 쪽이라서요.

AI 답변을 끝까지 읽어야 한다는 이야기와도 갈립니다. 끝까지 읽어도 나머지 원인은 안 나옵니다. 안 읽어서 놓친 게 아니라 애초에 안 적혀 있어서 놓친 것이니까요.

3. 헛수고는 오답보다 조용합니다

틀린 답은 부딪히면 티가 납니다. 숫자가 안 맞거나, 시스템이 거부하거나, 누군가 “이거 아닌데요”라고 말합니다. 어딘가에서 걸립니다.

반쪽짜리 답은 다릅니다. 시키는 대로 하게 만들고, 그 조치는 정상적인 업무처럼 보입니다. 조회 기간을 넓히는 건 합리적인 작업입니다. 상태 조건을 푸는 것도 그렇습니다. 각 단계는 흠잡을 데가 없습니다. 사흘이 지나간 것만 빼면요.

그리고 그 사흘은 어디에도 실패로 기록되지 않습니다. 회의록에는 “확인 중”이라고 적힙니다. 나중에 돌아봐도 누가 뭘 잘못했는지 짚을 데가 없습니다. 아무도 틀리지 않았는데 시간만 없어진 형태로 끝납니다.

그래서 기준을 하나 바꿔야 합니다.

우리에게 필요한 건 틀리지 않은 답이 아니라, 이것만 믿고 움직여도 되는 답입니다.

앞의 기준은 통과하는데 뒤의 기준은 떨어지는 구간이 있습니다. 그 구간이 제일 위험합니다. 어떤 검사기도 안 울리고, 눈으로 봐도 한 번은 그냥 지나가니까요.

세 답 모두 참이었습니다. 매번 하나였을 뿐입니다. 참·거짓만 검사하면 이 차이는 걸리지 않습니다.

4. 물음을 복수형으로 바꾸는 것만으로 절반이 해결됩니다

처방은 생각보다 싱겁습니다.

① 물음에 “전부”를 넣습니다. “왜 안 되나요”를 이렇게 바꿉니다.

안 되는 이유를 전부 찾아 주세요. 하나 찾았어도 멈추지 말고 나머지 조건도 다 확인해서 목록으로 주세요.

한 줄 차이입니다. 그런데 이 한 줄이 “먼저 걸린 데서 멈추는” 절차를 “끝까지 훑는” 절차로 바꿉니다.

② 조치 전에 목록을 먼저 받습니다. 원인이 하나 나왔다고 바로 고치러 가지 않습니다. 목록이 다 나온 다음에 고칩니다. 순서만 바꾸는 건데, 왕복이 세 번에서 한 번이 됩니다. 앞의 장면에서 사라진 사흘은 대부분 고치고 확인하고 다시 묻는 왕복에 들어간 시간이었습니다.

③ 단수 종결이 신호입니다. 답이 “~때문입니다”로 딱 끝나면 한 번 더 묻습니다.

이거 하나뿐입니까? 다른 것도 걸리는 게 있으면 같이 알려 주세요.

되묻는 데 십 초 걸립니다. 대부분은 “네, 이것뿐입니다”로 끝나고, 가끔 나머지가 나옵니다. 그 가끔이 사흘입니다.

④ 이 의심이 필요한 일과 아닌 일을 나눕니다. 원인이 겹칠 수 있는 일에만 쓰면 됩니다. 안 돌아감, 반려됨, 수치가 안 맞음, 성과가 부진함 — 조건이 여러 개 걸려 있는 일들입니다.

반대로 원인이 하나인 게 분명한 일에는 이 되묻기가 군더더기입니다. 매번 하면 지쳐서 안 하게 됩니다. 걸리는 조건이 여럿인 자리에만 붙이는 편이 오래갑니다.

5. 물어보지 않은 범위는 AI가 알아서 좁힙니다

이 이야기는 얼마 전에 쓴 두 편과 한 줄로 이어집니다.

말하지 않은 기준은 AI가 대신 정합니다에서는 내가 안 준 기준을 AI가 채운다고 했습니다. AI가 ‘없습니다’라고 하면 그건 못 찾았다는 뜻입니다에서는 AI가 말하는 부재가 사실은 검색의 결과라고 했습니다.

오늘 이야기는 세 번째 자리입니다. 내가 안 정해 준 범위를 AI가 알아서 좁힙니다. 이유를 하나 대라고 한 적은 없지만, 하나만 대지 말라고 한 적도 없습니다. 그 빈칸에서 AI는 더 자연스러운 쪽을 고릅니다.

셋 다 같은 모양입니다. 비어 있는 자리는 채워지고, 무엇으로 채웠는지는 화면에 안 적힙니다.

사람에게 물을 때도 비슷한 일이 일어납니다. “이거 왜 반려됐어요?”라고 물으면 담당자도 대개 먼저 걸린 것 하나를 말합니다. 차이는 사람은 대화가 이어지는 중에 “아, 그리고 이것도요”가 튀어나온다는 것뿐입니다. AI에게는 그 순간이 없습니다. 물은 만큼만 돌아옵니다.

마무리 — 답을 받고 나서 물을 한 줄

AI가 준 답을 검토할 때 우리는 대체로 “이게 맞나”를 봅니다. 맞으면 넘어갑니다. 대부분은 그래도 됩니다.

다만 그 일이 여러 조건이 동시에 걸릴 수 있는 일이라면, 한 줄을 더 붙이는 편이 낫습니다. 참인지 묻는 건 이미 하고 있으니, 전부인지 묻는 것만 추가하면 됩니다.

지난주에 AI에게 “왜 안 되나요”라고 물어본 적이 있으신가요.

그때 받은 답, 이유가 몇 개였습니까?