인사이트 목록

「뭔가 이상한데」 싶을 때, 전부 다시 읽지 마십시오

  • AI활용
  • 검증
  • 일하는방식
  • 한동작
  • 품질관리

이 코너는 오늘 바로 따라 하는 동작 하나만 다룹니다. 읽는 데 3분, 해보는 데 1분입니다.

이번 동작은 이겁니다.

AI에게 시켜서 받은 결과물 묶음이 「뭔가 이상」할 때, 전부 다시 읽지 말고 각 덩어리의 마지막 한 줄만 세로로 줄 세운다.


1. 그 상태에는 이름이 있습니다

AI에게 자료 한 벌을 만들게 하고 훑어보다가, 이런 말이 나올 때가 있습니다.

“잘 나온 것 같기는 한데… 뭔가 좀 이상한데요.”

근거는 없습니다. 그냥 감입니다. 그래서 이런 말은 보통 이렇게 흘러갑니다. “그런가요? 좀 줄여볼까요?” 그리고 아무것도 안 바뀝니다.

그런데 이 감각을 게으른 말로 취급하면 손해입니다. 저는 이걸 이렇게 정리했습니다.

「이상하다」는 틀렸다는 뜻이 아니라, 검사할 자리를 아직 못 찾았다는 뜻입니다.

AI로 일할수록 이 상태가 늘어납니다. 결과물이 내가 읽을 수 있는 속도보다 빨리 쌓이니까요. 한 덩어리씩 보면 다 멀쩡한데, 뭉치로 보면 어딘가 어긋난 느낌이 옵니다.


2. 전부 다시 읽는 건 왜 안 통하나

가장 흔한 반응이 “그럼 처음부터 다시 볼까”입니다. 저도 그랬습니다.

안 됩니다. 두 가지 이유가 있습니다.

첫째, 시간이 없습니다. 스무 쪽이든 쉰 쪽이든, 다시 읽는 데 드는 시간은 만드는 시간에 맞먹습니다. 그래서 대부분 안 합니다.

둘째, 다시 읽어도 안 보입니다. 각 덩어리는 자기 안에서는 멀쩡하기 때문입니다. 위화감은 덩어리 안이 아니라 덩어리들 사이에 있습니다. 순서대로 읽으면 그 사이를 못 봅니다.

이건 제가 합계가 맞는 표를 보면서 틀린 결론을 냈던 일과 같은 형태입니다. 데이터는 그대로인데 읽는 방식이 답을 정합니다.


3. 동작 — 마지막 한 줄만 줄 세웁니다

예를 들어 보겠습니다.

AI에게 이렇게 시켰다고 합시다. “우리 팀 업무 여섯 개를 자동화 후보로 검토해줘.”

여섯 덩어리가 나옵니다. 하나씩 읽으면 전부 그럴듯합니다. 문장도 매끄럽고 틀린 말도 없습니다. 그런데 다 읽고 나면 뭔가 걸립니다. 어디가 걸리는지는 말을 못 하겠고요.

이때 각 덩어리의 마지막 한 줄만 뽑아서 세로로 붙여 봅니다.

각 덩어리의 결론만 뽑아 줄 세우면 이질적인 하나가 드러난다 AI에게 우리 팀 업무 여섯 개를 자동화 후보로 검토하게 하고, 각 항목의 마지막 결론 문장만 뽑아 세로로 나란히 세운 그림입니다. 다섯 개의 결론은 모두 "그래서 우리가 무엇을 하면 된다"라는 같은 종류로 끝나는데, 네 번째 하나만 "업계에서는 이렇다더라"라는 다른 종류로 끝납니다. 그 항목만 검토가 아니라 소개인 것입니다. 항목을 하나씩 순서대로 읽으면 각각은 틀린 말이 없어서 이 어긋남이 보이지 않고, 결론만 줄 세워 한 번에 봐야 튀는 하나가 드러납니다. 전수 재독은 오래 걸리고도 못 잡지만, 결론 줄 세우기는 삼십 초가 걸립니다. 각 항목의 마지막 한 줄만 뽑아 세로로 세운다 항목 그 항목이 끝나는 문장 무엇으로 끝나는가 ① 사람 판단이 껴 있어 절반만 넘길 수 있다 우리가 무엇을 할지 ② 규칙이 명확해서 바로 넘겨도 된다 우리가 무엇을 할지 ③ 자료가 흩어져 있어 먼저 모아야 한다 우리가 무엇을 할지 ④ 이 분야 자동화율이 40%까지 올랐다 업계는 이렇다더라 ⑤ 되돌릴 수 있으니 먼저 해볼 만하다 우리가 무엇을 할지 ⑥ 월 3시간이 남는다 우리가 무엇을 할지 ▶ 순서대로 전부 다시 읽기 항목 하나만 보면 틀린 말이 없어서 안 보인다 결론만 줄 세우기 6개 중 1개가 30초 만에 튄다 ›
위화감은 덩어리 안이 아니라 덩어리들 사이에 있습니다. 그래서 다시 읽으면 안 보이고, 줄 세우면 보입니다.

붙여놓고 질문 하나를 던집니다.

“이 결론들은 서로 같은 종류입니까?”

다섯 개는 “그래서 우리가 무엇을 하면 된다”로 끝나 있습니다. 하나만 “업계에서는 이렇다더라”로 끝나 있고요.

여섯 중 하나. 30초면 나옵니다.

그리고 이게 바로 위화감의 정체입니다. “뭔가 남의 얘기 같다”는 느낌이 어디서 왔는지, 이제 손으로 짚을 수 있게 됐습니다. 넷째 항목만 검토가 아니라 소개였던 겁니다.

이런 종류의 어긋남은 순서대로 읽으면 거의 안 보입니다. 그 항목 하나만 놓고 보면 틀린 말이 하나도 없거든요. 옆의 다섯과 나란히 놓아야 튑니다.

AI에게 시키실 거면 이렇게 시키십시오.

“이 문서를 항목 단위로 나누고, 각 항목의 마지막 결론 문장만 뽑아서 표로 만들어줘. 요약하지 말고 원문 그대로 옮겨. 그리고 그 결론들이 서로 같은 종류인지, 하나만 다른 종류가 있는지 말해줘.”

「요약하지 말고 원문 그대로」가 중요합니다. 요약하게 두면 AI가 결론들을 서로 닮게 다듬어서, 정작 찾으려던 이질감이 지워집니다.

제 경우도 같은 방식으로 걸렸습니다. 교육 자료 한 벌에서 일곱 덩어리 중 하나만 다른 종류로 끝나 있었고, 그 하나가 한 시간 가까운 구간의 인상을 통째로 만들고 있었습니다. 전체를 다시 읽었으면 못 찾았을 겁니다. 결론 줄만 세우니 30초였습니다.


4. 같이 던지면 좋은 두 번째 질문

한 개 더 있습니다. 이건 결과물이 아니라 처음에 정한 것을 봅니다.

“처음에 넣기로 한 것 중에, 결과물에 없는 게 뭔가?”

이게 잘 걸립니다. 자료를 만들다 보면 의도는 있었는데 구현으로 안 넘어온 것이 반드시 생기거든요. 만든 사람은 “그거 넣었지”라고 기억합니다. 넣기로 결정한 순간을 기억하는 거라서요.

앞의 예로 치면 이렇습니다. 처음에 “항목마다 예상 소요 시간을 붙이자”고 정해뒀는데, 실제 결과물에서 그게 몇 개에 붙어 있는지 세어보는 겁니다. 여섯 중 둘에만 붙어 있으면 그건 빠진 겁니다.

이 질문의 장점은 판단이 아니라 개수라는 것입니다. 세면 되니까 30초면 끝나고, 사람마다 답이 안 갈립니다.

두 질문은 성격이 다릅니다. 첫째는 있는 것들 사이의 이질감을 잡고, 둘째는 없는 것을 잡습니다. 위화감은 대개 둘 중 하나입니다.


5. 이 글이 다루지 않는 자리

한 가지 구분을 해 두겠습니다.

며칠 전에 겹친 슬라이드 한 장을 발견했는데 규칙으로 바꾸니 여덟 장이 나왔다는 글을 썼습니다. 비슷해 보이지만 다른 칸입니다.

  • 그 글은 결함을 이미 하나 찾은 다음의 이야기입니다. 찾은 하나를 표본으로 보고 규칙으로 확장하는 것.
  • 이 글은 아직 아무것도 못 찾은 상태의 이야기입니다. 느낌만 있고 손댈 자리가 없을 때, 자리를 만드는 것.

순서로 보면 이 글이 먼저고, 그 글이 다음입니다. 이 동작으로 하나를 찾으면, 그다음엔 그걸 규칙으로 바꾸시면 됩니다.


마무리

「뭔가 이상한데」는 버려도 되는 말이 아닙니다. 감이 먼저 오고 근거가 나중에 오는 게 정상입니다. 문제는 그 감을 근거로 바꾸는 방법이 전수 재독밖에 없다고 생각하는 것입니다. 그러면 시간이 없어서 그냥 넘어가게 됩니다.

오늘 하나만 해보십시오.

마지막 한 줄만 뽑아서 세로로 세워 보기.

30초입니다. 안 튀면 감이 틀린 거고, 그것도 답입니다. 튀면 손댈 자리를 찾은 겁니다.

무료 이북 표지. 제목 「도구는 갈아타는 것이고, 실력은 실려 가는 것입니다」, 데이터임팩트 박상훈, 무료 배포판 v1.0.
데스크톱판 52쪽 · 모바일판 101쪽

무료 이북

도구는 갈아타는 것이고, 실력은 실려 가는 것입니다

데이터임팩트 박상훈

AI 글은 많이 읽었는데 여전히 뭘 어떤 순서로 해야 할지 모르겠다면. 10년, 130여 건의 기업 교육 현장에서 정리한 순서 한 장을 담았습니다. 지금 내가 어디에 있는지, 도구가 바뀌어도 안 바뀌는 것은 무엇인지, 그리고 오늘 붙일 한 줄까지.

노트북용 데스크톱판과 휴대폰에서 확대 없이 읽히는 모바일판을 함께 보내드립니다. 화면 열람용이라 인쇄는 제한되어 있습니다.

입력하신 이름과 이메일 주소는 받으시는 PDF 모든 페이지 하단에 작게 표시됩니다. 무단 재배포를 억제하기 위한 표기입니다. 두 정보는 이북 전달과 데이터·AI 활용에 관한 후속 콘텐츠 발송에 사용하며, 언제든 수신 거부하실 수 있습니다.