잘 정리해 뒀는데, 다음번에 하나도 안 나왔습니다

들어가며 — 같은 일을 두 번 하면 알 수 있는 것

AI로 회의록을 요약해 두고, 배운 걸 정리해 두고, 잘 된 프롬프트를 모아 두신 적 있으실 겁니다. 그 파일들, 마지막으로 다시 여신 게 언제입니까.

이 글은 그 질문에 대한 실측입니다. 저는 제 것으로 재봤고, 결과가 예상과 많이 달랐습니다.

같은 내용의 일을 두 번 하게 되는 경우가 있습니다. 같은 자료로 같은 발표를 두 번 하거나, 같은 절차를 다른 팀에 두 번 돌리거나요.

이건 꽤 드문 기회입니다. 첫 번째에서 고치기로 한 것이 실제로 두 번째에 반영되는지를 같은 조건에서 볼 수 있으니까요. 보통은 조건이 매번 달라서 뭐가 먹혔는지 알 수가 없습니다.

1. 첫 번째를 끝내고 세 가지를 남겼습니다

첫 번째를 마치고 기록을 텍스트로 옮겨서 처음부터 끝까지 뜯어봤습니다. 계획대로 갔는지, 어디서 늘어졌는지, 무슨 말을 했는지를 시간 순서대로요.

그리고 세 종류의 결과물을 만들었습니다.

본 문서에 직접 반영한 것 — 순서를 바꾸고, 없던 블록을 두 개 새로 넣었습니다.
「이건 좋았다」 모음 — 잘 나온 문장들을 따로 파일 하나에 모았습니다.
「다음엔 이렇게 하자」 메모 — 고칠 점 세 가지를 적어 뒀습니다.

셋 다 성실하게 만들었습니다. 오히려 2번과 3번에 시간을 더 썼습니다. 1번은 문서를 고치면 끝이지만, 2번과 3번은 무엇이 왜 좋았는지를 생각해서 적어야 하니까요.

2. 두 번째에서 이렇게 갈렸습니다

같은 내용, 같은 사람, 같은 자료. 두 번째도 똑같이 기록해서 뜯어봤습니다.

무엇을 했나	두 번째에 나왔나
본 문서에 직접 반영한 것	✅ 전부 그대로 나옴 (새 블록 두 개 다 실행, 시간까지 거의 계획대로)
「이건 좋았다」로 따로 정리한 것	❌ 하나도 안 나옴
「다음엔 이렇게 하자」 메모	❌ 세 개 중 0개

처음엔 제가 게을렀나 싶었습니다. 그런데 1번이 100% 나온 걸 보면 그건 아니었습니다. 성실하게 준비했고, 문서에 있는 건 다 했습니다.

문서에 있는 건 다 했고, 문서에 없는 건 다 빠졌습니다.

특히 아픈 게 하나 있었습니다. 첫 번째에서 제가 가장 잘했다고 꼽은 문장이 있었습니다. 전체를 관통하는 한 문장이라 「좋았다」 모음 맨 위에 별표까지 붙여 적어 뒀어요.

두 번째에는 그 장면이 통째로 없었습니다. 비슷한 말이 지나가듯 한 번 나오긴 했는데, 못 박듯 선언하는 그 순간이 사라졌습니다. 기록에서 그 단어를 세어보니 첫 번째 다섯 번, 두 번째 세 번. 그것도 전부 지나가는 말이었고요.

3. 잊은 게 아니었습니다 — 흐름에 맡겨져 있었던 겁니다

여기서 확인 하나가 더 붙었습니다. 바로 전날, 다른 곳에서 같은 내용을 한 번 더 했습니다. 상대도 상황도 완전히 다른 자리였고요.

그 기록을 열어보니 거기엔 그 문장이 살아 있었습니다.

하루 차이로 한쪽엔 나오고 한쪽엔 안 나왔습니다. 그러니까 제가 그 문장을 잊은 것도 아니고, 못 하는 것도 아닙니다. 그날그날 흐름에 맡겨져 있었을 뿐입니다.

저는 즉흥이 강한 편입니다. 현장에서 분위기를 보고 순서를 바꾸고, 그 자리에서 예를 만듭니다. 그게 강점인데, 이번엔 강점이 그대로 약점이었습니다. 즉흥에 맡기면 좋은 것도 즉흥으로 사라집니다. 나올 때도 있고 안 나올 때도 있는데, 언제 안 나오는지를 제가 모릅니다.

4. 그럼 왜 「좋았다 모음」은 안 먹혔나

만들 때 저는 이렇게 생각했습니다. “잘된 문장을 모아두면 다음에 꺼내 쓸 수 있겠지.”

안 꺼내집니다. 이유는 싱겁습니다.

일이 진행되는 중에는 파일을 열어볼 시간이 없습니다.

시작하면 안 멈춥니다. 화면 띄우고, 못 따라오는 사람 챙기고, 질문 받고, 시계 보고. 그 사이에 “아 맞다 그 문장” 하고 파일을 여는 순간은 없습니다.

정리해 둔 파일은 일하기 전에 읽는 자료지, 일하는 중에 쓰는 자료가 아닙니다. 그런데 저는 그걸 일하는 중에 쓸 것처럼 정리해 뒀습니다.

본 문서는 다릅니다. 일하는 내내 눈앞에 띄워놓고 보는 물건입니다. 그래서 거기 넣은 건 나왔고, 옆에 정리한 건 안 나왔습니다.

옆 폴더에 있는 정리물은, 정작 그것이 필요한 구간에서만 손이 닿지 않습니다.

여기가 제가 예전에 잘 만든 AI 가이드라인이 서랍에서 잠자는 이유에서 쓴 것과 갈리는 지점입니다. 그 글은 무엇을 적었는가의 문제였습니다. 금지 목록으로 적으면 잠들고, 일하는 방식의 레시피로 적으면 산다고요.

그런데 제 「좋았다 모음」은 금지 목록이 아니었습니다. 정확히 그 글이 권한 대로, 잘된 방식을 적은 레시피였습니다. 그런데도 0%였습니다.

즉 이건 그 글의 처방을 지키고도 남는 실패입니다. 무엇을 적었느냐를 고쳐도, 어디에 뒀느냐가 틀리면 그대로 안 열립니다.

5. 이건 AI로 정리하는 사람 전부의 문제입니다

이 이야기가 남 일이 아닌 이유가 있습니다.

AI가 오면서 정리하는 비용이 거의 0이 됐습니다. 회의록은 자동으로 요약되고, 긴 문서는 세 줄로 줄어들고, 잘 나온 프롬프트는 모아두면 되고, 배운 건 깔끔하게 문서로 남습니다. 예전 같으면 한 시간 걸릴 정리가 30초에 끝납니다.

그래서 정리물이 폭증했습니다. 그런데 그걸 여는 횟수는 안 늘었습니다.

정리가 비싸던 시절에는 정리 자체가 드물어서, 정리했다는 사실만으로 기억에 남았습니다. 지금은 정리가 흔해서 어디에 뒀는지도 기억이 안 납니다. 그리고 대부분의 정리물은 일이 끝난 다음에 만들어져서, 다음번 일이 시작되는 자리에는 놓여 있지 않습니다.

한 번 확인해 보십시오. 지난 석 달 동안 AI로 요약하거나 정리한 문서가 몇 개입니까. 그중 다시 연 것은 몇 개입니까.

여는 게 적다면 그건 내용이 부실해서가 아닙니다. 열 시간이 없는 자리에 놓여서입니다.

6. 제가 고친 방법

세 가지로 갈랐습니다.

① 채집용은 채집용으로 그냥 둡니다. 「좋았다 모음」은 없애지 않았습니다. 다만 용도를 바꿔 적었습니다 — 이건 나중에 글이나 자료를 쓸 때 꺼내는 재료지, 일하는 중에 쓰는 물건이 아니라고요. 용도를 정직하게 적어두면 안 열려도 실패가 아닙니다.

② 반드시 나와야 하는 것은 진행 문서의 그 자리에 박습니다. 「좋았다」 모음에서 딱 하나를 뽑아, 진행 순서 문서의 그 문장이 나와야 하는 위치에 넣었습니다.

③ 요약이 아니라 지시로 적습니다. 이게 중요합니다.

❌ “여기서 전체를 관통하는 메시지를 강조” ← 요약. 그 순간 또 즉흥으로 바뀝니다.
✅ “여기서 이 문장을 그대로 읽는다: 『…』” ← 지시. 읽으면 끝납니다.

요약으로 적으면 실행할 때 다시 해석해야 하고, 해석은 매번 달라집니다. 제가 말로 준 규칙은 매번 해석되고 실행되는 규칙은 매번 집행된다고 쓴 것의 문서판입니다.

7. 그리고, 고쳐진 것들도 있었습니다

재밌는 게 하나 더 있었습니다. 「다음엔 이렇게 하자」 메모가 0개라고 했는데, 실제로 개선된 항목은 있었습니다.

준비 시간이 10분에서 5분으로 줄었고, 시간 배분도 계획대로 맞아떨어졌습니다. 메모에 적었던 내용인데요.

왜 이건 됐을까요. 그건 제가 그 순간에 하는 행동이 아니라, 미리 만들어 둔 조건에 속한 것이었기 때문입니다. 미리 안내를 보내고 도와줄 사람을 배치해 두면, 제가 현장에서 아무것도 안 해도 결과가 바뀝니다.

안 고쳐진 건 전부 “그 순간에 내가 해야 하는 것”이었습니다.

여기서 규칙 하나가 나옵니다.

“다음엔 잘하자”로 해결되는 항목은 없습니다. 조건으로 바꾸거나, 그 순간 눈앞의 문서에 박거나 — 둘 중 하나입니다.

이건 제가 주의가 아니라 장치로 막는다고 쓴 것과 같은 말인데, 그 글은 검사를 장치로 옮기는 이야기였고 이건 실행을 배치로 옮기는 이야기입니다. 막는 쪽이 아니라 하게 만드는 쪽이요.

마무리 — 값은 내용이 아니라 위치에서 나옵니다

정리를 잘하는 사람은 많습니다. AI가 오면서 더 많아졌고요. 그런데 그 정리가 다음 일에서 실제로 값을 하려면 조건이 하나 더 붙습니다.

그 일을 하는 순간에, 이미 눈앞에 있어야 합니다.

옆 폴더에 있으면 없는 것과 같습니다. 지난달 대화창에 있으면 없는 것과 같고요. 아무리 잘 정리했어도, 열 수 있는 시간에 놓여 있지 않으면 그건 취미로 한 정리입니다.

그러니 무언가를 정리하고 나서 한 줄만 더 물어보십시오.

“이걸 다시 볼 순간이 언제고, 그때 손이 비어 있나?”

손이 안 비어 있다면, 그건 그 자리에 옮겨 두거나 조건으로 만들어야 합니다. 저는 그 질문을 안 하고 석 달 치를 정리했고, 첫 실측에서 0%를 봤습니다.