AI가 ‘됐다’고 해도, 일이 끝난 게 아닙니다
- AI교육
- AI검증
- 조율
- 일하는방식
- 현장사례
들어가며 — “다 됐습니다”라는 말
얼마 전, 교육 자료 한 벌을 새 디자인으로 통째로 다시 찍어내는 작업을 자동화로 돌렸습니다. 100장이 넘는 슬라이드를, 사람이 한 장씩 손보는 대신 스크립트가 자동으로 다시 그리게 한 거죠. 한참을 돌린 끝에 AI는 깔끔하게 보고했습니다. “에러 없이 끝났습니다. 파일도 만들어졌습니다.”
여기서 대부분은 손을 뗍니다. 빨간 에러 메시지 하나 없고, 추출된 텍스트를 훑어보면 내용도 다 맞으니까요. 하지만 저는 자동화 결과물을 받으면 늘 한 장씩 그림으로 뽑아 눈으로 넘겨봅니다 — 십수 년간 교육 자료를 다루며 몸에 밴, 양보하지 않는 습관입니다. 그리고 이번에도 몇 장에서 손이 멈췄습니다. 긴 슬라이드의 글자가 박스를 뚫고 흘러내려, 맨 아래 줄과 떡칠이 돼 겹쳐 있었습니다.
AI는 분명 “다 됐다”고 했습니다. 거짓말을 한 것도 아니었습니다. 그런데 결과물은 깨져 있었죠. 그리고 바로 이 간극에서, AI로 일하는 사람이 갈립니다 — “됐다”는 말에서 손을 떼는 사람과, 한 걸음 더 들어가 직접 확인하는 사람으로. 비개발자가 AI로 일할 때 가장 자주, 가장 조용히 사고가 나는 자리가 정확히 여기입니다.
1. “에러 없음”은 “잘됨”이 아니다
먼저 분명히 해 둘 게 있습니다. AI가 거짓 보고를 한 게 아닙니다. AI가 말한 “다 됐습니다”는 정직한 보고였어요. 다만 그게 보고한 대상이, 제가 듣고 싶었던 것과 달랐을 뿐입니다.
AI가 “됐다”고 할 때 그건 보통 이런 뜻입니다 — 시킨 코드가 에러 없이 끝까지 돌았고, 파일이 만들어졌다. 이건 실행의 층입니다. 반면 제가 정말 알고 싶은 건 결과물이 보기에 멀쩡한가죠. 이건 결과의 층입니다. 이 두 층은 자주 어긋납니다. 코드는 한 줄도 안 틀리고 깔끔하게 돌면서, 결과물은 박스를 뚫고 깨질 수 있습니다.
이번 경우가 딱 그랬습니다. 저는 AI에게 “글자가 넘치면 자동으로 줄여주는 기능(자동축소)을 걸어달라”고 했고, AI는 그 기능을 코드에 정확히 넣었습니다. 코드만 보면 완벽했어요. 그런데 막상 그림으로 내보내는 과정에서 그 자동축소가 통째로 무시됐습니다. 글자 크기는 원래대로, 박스만 작은 채로 — 그래서 넘쳤습니다.
여기서 첫 번째 원칙이 분명해집니다. 코드에 에러가 없다는 말은, 결과가 맞다는 뜻이 아닙니다. 실행이 성공했다는 신호와 결과물이 멀쩡하다는 사실은 전혀 다른 층의 이야기입니다. 그리고 AI는 거의 항상 앞쪽 층만 보고합니다. 뒤쪽 층은, 누군가 직접 봐야 합니다.
2. AI는 ‘한 척’을 하는 게 아니라, ‘다른 걸’ 본다
왜 이런 일이 생길까요. 잠깐만 안을 들여다보면 의외로 싱겁습니다. (코드를 몰라도 됩니다.)
제가 쓴 자동축소라는 기능은, 원래 파일을 사람이 열어서 다시 계산할 때 글자 크기를 줄여주도록 설계돼 있었습니다. 그런데 제 스크립트는 파일을 열지 않고 곧장 그림으로 내보냈죠. 그러니 “다시 계산”하는 순간이 아예 없었고, 줄어들 글자도 줄지 않은 채 그대로 그림이 돼버린 겁니다. AI는 “자동축소를 걸어달라”는 주문을 정확히 수행했습니다. 다만 그 기능이 이 상황에선 작동하지 않는다는 건, 시켜본 사람만 알 수 있는 일이었어요.
이게 핵심입니다. AI는 우리를 속이려고 “된 척”을 하는 게 아닙니다. AI는 자기가 본 층(시킨 걸 했다)을 정직하게 보고할 뿐이고, 우리가 진짜 신경 쓰는 층(결과가 맞다)은 보지 않습니다 — 정확히는, 볼 수가 없습니다. 결과물이 보기에 어떤지는 그림을 눈으로 봐야 아는 일이고, AI에게는 그 눈이 없으니까요.
그래서 “AI가 됐다는데 왜 안 되지?”라고 억울해할 일이 아닙니다. AI가 보고하는 층과, 내가 확인해야 하는 층이 처음부터 다르다고 생각하는 게 맞습니다. 그 간극을 메우는 일은 떼어줄 수 없는, 사람의 몫으로 남습니다.
3. 그래서 결과는 ‘글자’가 아니라 ‘그림’으로 본다
그럼 코드를 못 읽는 사람은 무엇으로 검증할까요. 여기서 비개발자에게 의외의 무기가 하나 있습니다 — 눈입니다.
많은 사람이 추출된 텍스트만 보고 “내용 다 맞네, 끝”이라고 합니다. 그런데 텍스트만 봐서는 절대 안 보이는 게 있습니다. 글자가 박스를 넘쳤는지, 줄이 겹쳤는지, 표가 잘렸는지 — 이런 건 글자 목록에는 안 적혀 있습니다. 오직 그림으로 뽑아 눈으로 봐야 드러나죠. 그래서 저는 슬라이드 자동화를 돌릴 때마다 반드시 결과를 한 장씩 그림으로 내보내 눈으로 넘겨봅니다. 코드는 못 읽어도, 깨진 슬라이드는 누구 눈에나 보이니까요.
이건 슬라이드만의 이야기가 아닙니다. AI가 만든 표를 받으면 숫자 합이 맞는지 직접 더해보고, 요약문을 받으면 원문과 대조해 빠진 게 없는지 보고, 번역을 받으면 어색한 문장을 소리 내어 읽어봅니다. 전부 코드와 무관한, 결과물을 끝까지 사람 감각으로 통과시키는 일입니다. 비개발자의 검증은 코드를 들여다보는 게 아니라, 결과물을 끝까지 직접 보는 것입니다.
그리고 한 가지 더. 저는 결국 AI의 자동축소에 기대는 걸 그만뒀습니다. 대신 “줄이 22개를 넘으면 글자를 8pt로” 하는 식으로, 제가 직접 셀 수 있는 값으로 크기를 정했습니다. AI가 알아서 해주는 자동 기능은 편하지만, 내가 눈으로 확인할 수 없는 자동은 믿지 않는 게 안전합니다. 통제할 수 있는 값으로 바꿔 쥐는 순간, 결과는 예측 가능해집니다.
4. 이건 ‘조율’의 실행편입니다
전에 AI의 첫 답을 끌어올리는 건 ‘다시’ 버튼이 아니라 평가의 눈이라고 쓴 적이 있습니다. 무엇이 잘된 결과인지 내 안에 기준이 있어야, 어긋난 데를 짚어 고쳐 맡길 수 있다는 이야기였죠. 오늘 글은 그 명제의 가장 손에 잡히는 실행편입니다.
‘평가의 눈’이라고 하면 뭔가 거창한 안목처럼 들리지만, 실제로는 이렇게 소박합니다 — 결과물을 끝까지 직접 본다. 그림으로 뽑아 넘겨보고, 숫자를 더해보고, 문장을 읽어본다. AI가 “됐다”고 한 지점에서 멈추지 않고, 한 걸음 더 들어가 진짜 됐는지를 내 감각으로 확인하는 것. 그게 조율의 출발점이고, 코드를 못 읽어도 누구나 할 수 있는 일입니다.
검증의 눈이 빠지면 어떻게 되는지는 막힐 때를 대비해 미리 만들어 둔 작업 구조의 반대 풍경을 떠올리면 됩니다. AI가 “완료”라고 한 걸 그대로 받아 다음으로 넘기면, 깨진 결과물이 아무 저항 없이 흘러갑니다. 그래서 저는 자동화 작업에 늘 한 칸을 끼워둡니다 — “AI 완료 → 그림으로 눈 확인 → 통과”. 이 한 칸이, 그럴듯한 오류가 그대로 나가는 걸 막는 마지막 문입니다.
5. 그래서, 이건 도구의 문제가 아닙니다
이 이야기가 자동화 스크립트를 짜는 사람만의 일이라고 생각하기 쉽습니다. 그런데 똑같은 일이 지금 거의 모든 책상에서 매일 벌어지고 있습니다. 누구든 AI에게 보고서를, 표를, 번역을, 요약을 맡기고 — 그 결과를 검증 없이 그대로 다음으로 넘깁니다. 거창한 자동화가 아니라, 챗봇에 한 번 물어 답을 받는 순간에도 똑같죠.
가장 위험한 건 깨진 결과물 자체가 아닙니다. “AI가 했으니까 맞겠지”라는 한 문장입니다. AI의 결과물은 늘 그럴듯합니다. 문장은 매끄럽고, 표는 반듯하고, 보고는 깔끔하죠. 그 그럴듯함이 검증의 눈을 풀어지게 만듭니다. 사람이 한 일이라면 “한 번 더 볼까” 했을 텐데, AI가 한 일이라 오히려 더 쉽게 믿어버립니다. 그래서 사람이 했으면 안 났을 오류가, AI를 거치면 검증 없이 통과해 더 멀리 나갑니다.
그리고 이건 도구를 하나 더 배운다고 풀리는 문제가 아닙니다. 새 기능을 익히는 일과, 결과물을 끝까지 자기 눈으로 보는 습관은 전혀 다른 종류의 일이니까요. 앞은 도구의 영역이고, 뒤는 일하는 방식의 영역입니다. 그래서 AI를 쓰는 사람이 늘어날수록 조직에서 조용히 갈리는 건, 누가 더 많은 기능을 아느냐가 아니라 — 누가 “됐다”는 말 앞에서 한 번 더 멈춰 서느냐입니다.
AI는 일을 빠르게 합니다. 하지만 그 결과가 맞는지를 판단하는 마지막 자리는, 여전히 사람의 것입니다. 그리고 그 자리는 코드를 아는 사람이 아니라, 결과물을 끝까지 들여다보는 사람의 것입니다.