'다 고쳤다'는 검색으로 증명되지 않습니다

들어가며 — 0건인데, 네 번 더 나왔습니다

교육 자료 한 벌을 고칠 일이 있었습니다. 실습을 조별에서 개인으로 바꾸는, 방식 하나를 걷어내는 작업이었습니다. 자료는 네 벌이었습니다. 발표 자료, 참가자용 문서, 제가 들고 진행할 자료, 실습 데이터.

수정 자체는 금방 끝났습니다. AI에게 시켰고, 마흔 곳쯤 고쳤고, 마지막에 전 파일에서 “조별”을 검색했습니다.

0건이었습니다. 다 고친 겁니다.

그 뒤로 네 번을 더 검수했습니다. 네 번 다 새로 나왔습니다.

---

1. 우리는 완료를 ‘검색 0건’으로 판정합니다

일이 끝났다는 걸 우리는 대개 이렇게 확인합니다. 바꾸기로 한 그 단어를 찾아보고, 안 나오면 끝난 걸로 칩니다.

이건 게으른 방법이 아닙니다. 오히려 성실한 사람이 쓰는 방법입니다. 눈으로 대충 넘기지 않고 기계에게 물어봤으니까요.

문제는 이 판정이 내가 바꾸기로 한 낱말을 기준으로 삼는다는 데 있습니다. 검색은 내가 이미 알고 있는 것만 확인해 줍니다. 모르는 걸 알려주는 도구가 아닙니다.

그래서 “0건”이 증명하는 건 하나뿐입니다. 그 낱말은 없다. 그 이상은 아무것도 증명하지 않습니다.

---

2. 검색이 놓치는 건 세 종류입니다

네 번의 검수에서 나온 것들을 정리해 보니 성격이 딱 세 가지로 갈렸습니다.

하나 — 다른 말로 쓴 것. “화이트보드”를 전부 지웠는데, 어느 페이지에는 “칠판에 쓸 한 줄”이 남아 있었습니다. 같은 물건인데 낱말이 다릅니다. 칠판, 보드, 전지, 이젤패드. 만들 때는 문장이 지루하지 않게 바꿔 쓰는 게 자연스러운 일이고, 고칠 때는 바로 그 자연스러움이 발목을 잡습니다.

둘 — 문서마다 다르게 적히는 값. 시각, 페이지 수, 문항 수 같은 것들입니다. 이건 낱말이 아니라 숫자라서 애초에 무엇을 검색해야 할지도 모릅니다.

셋 — 글자가 아닌 것. 전체 시간 구성을 보여주는 막대그래프가 있었습니다. 숫자는 고쳤는데 막대의 폭은 옛 비율 그대로였습니다. 검색으로는 죽어도 안 잡힙니다. 렌더해서 눈으로 봐야 보입니다.

이 셋이 왜 하필 AI로 일할 때 늘어나는지가 중요합니다. AI에게 자료를 맡기면 산출물이 한 벌이 아니라 여러 벌 나옵니다. 발표 자료만 만들던 일에 배포용 문서와 진행용 자료와 데이터셋이 따라붙습니다. 그리고 같은 값이 그 여러 벌에 복제됩니다. 예전에는 한 파일 안에 한 번 적히던 숫자가, 이제 네 파일에 네 번 적힙니다.

만드는 속도가 빨라진 만큼, 같은 사실이 흩어져 적히는 자리도 같이 늘어난 겁니다.

---

3. 두 시각표가 둘 다 240분이었습니다

네 번 중 가장 아찔했던 건 두 번째였습니다.

자료 안에 분 단위 시각표가 있습니다. 몇 시에 시작해서 몇 시에 쉬고 몇 시에 끝나는지. 실습 방식을 바꿨으니 시간 배분도 바뀌었고, 그래서 시각표를 다시 짰습니다.

검수하다 보니 시각표가 두 벌이었습니다. 발표 자료에 적힌 마지막 순서 시작 시각은 16:55, 진행용 자료에 적힌 건 17:00이었습니다.

여기서 무서운 건 5분 차이가 아닙니다.

두 벌 다 합계가 240분으로 딱 맞았다는 겁니다.

발표 자료만 열어서 검산하면 완벽합니다. 진행용 자료만 열어서 검산해도 완벽합니다. 각 문서는 자기 안에서 아무 모순이 없습니다. 모순은 두 문서를 나란히 놓았을 때만 존재합니다.

그러니까 이건 꼼꼼함의 문제가 아닙니다. 검사 단위가 파일 하나면, 이 결함은 원리적으로 안 잡힙니다. 열 번을 다시 봐도 안 잡힙니다. 보는 방향이 틀렸기 때문입니다.

그리고 이 자료는 나중에 사람이 손에 들고 씁니다. 그대로 갔으면 같은 강의장에서 서로 다른 시계를 보고 있었을 겁니다.

---

4. 값을 세로로, 문서를 가로로 놓았습니다

고친 방법은 단순합니다. 검사 방향을 90도 돌렸습니다.

문서를 한 벌씩 열어서 위에서 아래로 훑는 대신, 같은 값이 적힌 자리를 문서를 건너 한 줄에 늘어놓았습니다.

표 한 장이면 됩니다. 세로에는 여러 문서에 중복해서 적히는 값(모듈별 시각, 총 분량, 실습 개수, 페이지 수)을, 가로에는 문서 이름을 놓습니다. 그리고 한 줄씩 봅니다. 한 줄 안의 값이 서로 다르면 거기가 어긋난 자리입니다.

이걸 만들면서 알게 된 게 하나 더 있습니다. 표를 채우려면 어떤 값이 여러 문서에 중복해서 적혀 있는지를 먼저 적어야 합니다. 그 목록이 곧 위험 목록입니다. 여기저기 적힌 값일수록 어긋납니다. 한 군데만 적힌 값은 애초에 어긋날 수가 없으니까요.

여기에 하나를 더 붙였습니다. 최종본은 화면으로 봅니다. 파일을 그림으로 뽑아서 눈으로 넘겼습니다. 막대그래프 폭이 안 맞는 건 그때 잡혔습니다.

이건 주의를 기울이자는 다짐이 아니라 절차입니다. 다짐은 바쁜 날 가장 먼저 생략됩니다. 표는 비어 있으면 눈에 보입니다.

솔직히 말하면, 저는 파일 안을 술술 읽는 사람이 아닙니다. 그래서 “검색 통과했으니 됐다”에서 멈출 수가 없었고, 뽑아서 눈으로 볼 수밖에 없었습니다. 그 덜 세련된 방법이 검색보다 넓게 잡았습니다.

---

5. 가장 늦게 고쳐진 건 제가 볼 자료였습니다

네 번 검수하는 내내 마지막까지 걸린 건 진행용 자료와 정답지였습니다. 남에게 나가는 자료부터 고치고, 제가 볼 자료는 뒤로 밀었습니다.

순서가 뒤집혀 있었습니다. 인쇄돼 나가는 배포 문서는 틀리면 부끄럽지만, 진행하는 사람이 손에 들고 있는 자료가 틀리면 그 자리에서 일이 어그러집니다.

이건 개인 습관이 아니라 꽤 일반적인 기울기입니다. 제출하는 보고서는 세 번 보고 내 계산 시트는 안 봅니다. 고객에게 가는 메일은 검토하고 팀 내부 정리 문서는 넘어갑니다. 그런데 다음 작업이 올라타는 건 대개 내부용 그 문서입니다.

안 바꾼 자리에 남의 맥락이 남는 것과 같은 구조입니다. 검증은 눈에 띄는 쪽을 따라가고, 눈에 안 띄는 쪽에 계속 쌓입니다.

---

마무리 — 물어야 할 한 문장

정리하면 이렇습니다.

무언가를 고치고 나면 우리는 검색으로 완료를 판정합니다. 검색은 내가 아는 낱말만 확인해 줍니다. 다른 말로 쓴 것, 문서마다 다르게 적히는 값, 글자가 아닌 것은 전부 빠져나갑니다. 그리고 그중 최악은 각 문서 안에서는 아무 모순이 없는 결함입니다. 그건 파일을 하나씩 여는 방식으로는 몇 번을 봐도 안 나옵니다.

AI로 일하면 이 위험이 커집니다. 자료를 한 벌이 아니라 여러 벌 만들어 주기 때문입니다. 무엇을 다시 만들어야 하는지를 사람이 정해야 하는 것처럼, 다 고쳤는지를 무엇으로 증명할지도 사람이 정해야 합니다. AI는 시킨 파일을 고칠 뿐, 자기가 안 열어 본 파일과 대조해 주지는 않습니다.

그래서 저는 완료 판정을 이렇게 바꿨습니다. 검색해서 안 나오는 걸 확인하는 대신, 여러 곳에 적힌 값을 한 줄에 놓고 서로 같은지를 봅니다. 검사 방향을 세로에서 가로로 돌리는 것, 그게 전부입니다. 표 한 장이면 되고, 반나절이 걸리는 일도 아닙니다.

보고서와 첨부 자료, 기획서와 예산 시트, 분석 결과와 발표 장표. 같은 숫자가 두 군데 이상 적혀 있다면 이미 같은 처지입니다. 각각은 멀쩡한데 서로 다른 상태는, 나란히 놓기 전까지 아무도 모릅니다.