점검표는 다 통과했는데, 필요한 지시문 셋이 아예 없었습니다

실습 안내서를 다시 열어 본 날이었습니다. 「여러 AI에게 일을 나눠 맡긴다」를 따라 해 보는 순서였고, 하는 순서는 이렇게 적혀 있었습니다.

새 대화에서 조사·분석·작성을 차례로 시킵니다. 마지막에 검토를 시킵니다.

그리고 그대로 복사해 쓸 수 있는 지시문 상자가 붙어 있었습니다. 하나였습니다. 검토용 지시문 하나. 조사·분석·작성에 쓸 지시문은 처음부터 만들어진 적이 없었습니다. 따라 하는 사람은 세 번을 스스로 말을 지어내야 했습니다.

이상한 건 그다음이었습니다. 이 안내서는 점검을 세 번이나 통과한 상태였습니다.

한눈에 보기

핵심점검표가 「칸이 찼나」만 물으면, 필요한 것이 빠져도 통과합니다.

점검이 물어야 할 세 가지

1. 찼나 칸에 무언가 적혀 있는가 — 대부분의 점검이 여기서 멈춤
2. 보이나 글자는 있어도 화면에서 안 보일 수 있다
3. 몇 개인가 한 줄을 동작으로 나누면 몇 개가 필요한가

바로 할 일쓰는 점검표 하나를 꺼내, 「있나」만 묻는 항목 옆에 개수 칸을 붙이세요.

세 가지 점검이 모두 「찼다」만 봤습니다

점검은 촘촘한 편이었습니다. 배포 전 자동 검사 수십 항목, 안내서를 만들 때 도는 검사, 그리고 사람이 도는 점검표까지 있었습니다. 셋 다 초록이었고, 통과한 이유가 하나씩 달랐습니다.

• 자동 검사는 쪽수, 번호 순서, 쓰지 말아야 할 표현을 봤습니다. 실습의 내용은 애초에 보지 않았습니다.
• 안내서 검사는 「어디서 · 무엇을 · 어떻게 · 다 되면 · 막히면」 다섯 칸이 비었는지를 봤습니다. 칸은 차 있었습니다.
• 사람 점검표도 같은 다섯 칸이었습니다. 다 있었습니다.

셋 다 칸이 찼는지만 봤습니다. 그 칸 안에 몇 개가 있어야 하는지는 아무도 묻지 않았습니다.

「지시문이 본문과 글자까지 같은가」를 보는 검사도 있었습니다. 그런데 이 검사는 있는 지시문끼리만 비교합니다. 없는 지시문은 비교할 대상이 없으니, 틀린 것으로도 걸리지 않고 조용히 지나갑니다.

한 줄에 동작이 셋이면, 하나로 세어집니다

범인은 「조사·분석·작성을 차례로 시킵니다」라는 한 줄이었습니다. 한 줄인데 동작이 셋입니다. 한 줄이니 한 단계로 보이고, 한 단계니 지시문 하나면 되는 줄 압니다. 쓴 사람도, 검사한 사람도, 검사 도구도 그렇게 셌습니다.

이건 AI가 만든 문서에서 특히 자주 생깁니다. AI는 여러 동작을 쉼표로 이어 한 문장에 담는 걸 잘합니다. 읽기에는 매끄럽습니다. 하지만 셀 수 없는 문장이 됩니다.

고치는 방법은 두 가지였습니다.

첫째, 한 줄에 동작을 하나만 적습니다. 그래야 줄 수가 곧 동작 수가 되고, 셀 수 있습니다.

둘째, 점검 질문을 바꿉니다. 「칸이 찼나?」 대신 「몇 개여야 하고, 몇 개 있나?」 로 묻습니다.

글자는 있는데 안 보이는 것도 있습니다

빠진 지시문을 채워 넣고 다시 검사를 돌렸습니다. 이번에도 전부 통과했습니다. 그래도 한 번은 눈으로 보자고 화면으로 띄웠는데, 새로 넣은 쪽이 거의 백지였습니다.

배경색이 따라오지 않아 흰 바탕에 흰 글자가 된 것이었습니다. 글자는 다 있었습니다. 위치도 정상이었습니다. 안 보일 뿐이었습니다. 글자를 읽어서 판단하는 검사는 이런 걸 원리적으로 볼 수 없습니다. 글자가 있으니까요.

반대로, 배경이 없는 쪽을 기계로 전부 찾아보니 그중 한 쪽은 원래부터 흰 바탕이 맞는 쪽이었습니다. 「배경 없음」이 곧 「잘못」도 아니었습니다. 그래서 결국 기계로 후보를 찾고, 눈으로 판단하는 순서가 됐습니다.

시킨 대로 적혔는데 다르게 그려졌다는 글에서도, 파일에는 정확히 적혀 있는데 화면에서는 달라지는 일을 다뤘습니다. 그 글은 값을 읽는 규칙이 결과를 바꾼 경우였고, 이번에는 규칙도 값도 멀쩡한데 색 하나 때문에 안 보인 경우입니다. 둘 다 「값을 검사하는 도구는 화면을 모른다」로 이어집니다.

「참인가」와 「전부인가」, 「찼나」와 「몇 개인가」

틀린 말은 없었는데 헛수고였다는 글은 AI가 찾아 준 원인 하나가 참이었지만 전부가 아니었던 이야기였습니다. 검사는 「참인가」만 묻고 「참인 전부인가」는 묻지 않는다는 것이었습니다. 이번 글은 같은 구조가 점검표에서 나타난 경우입니다. 점검표는 「찼나」만 묻고 「몇 개여야 하나」는 묻지 않습니다. 원인 찾기든 점검표든, 질문이 하나를 묻게 생겼으면 답도 하나에서 멈춥니다.

가진 점검표 하나를 다시 읽어 보십시오

지금 쓰고 있는 점검표나 확인 목록 하나를 꺼내 보십시오. 그리고 항목마다 이렇게 물어보면 됩니다.

이 항목은 「있나」를 묻나, 「몇 개인가」를 묻나?

「있나」만 묻는 항목이 있다면, 그 옆에 숫자 칸 하나를 붙이십시오. 필요한 개수와 실제 개수. 두 숫자가 다르면, 그게 점검표가 지금까지 못 보던 자리입니다.