AI의 첫 답은 결론이 아니라 초안입니다

교육 현장에서 AI를 처음 써보는 분들을 지켜보면, 대개 같은 장면이 반복됩니다. 질문을 한 번 던지고, 돌아온 답을 한 번 읽고, 그걸로 결론을 내립니다. “음, 생각보다 별로네요.” 그 한 번의 답이 AI의 실력이라고 믿는 겁니다.

그런데 생각해 보면 이상한 일입니다. 똑똑하지만 우리 회사 사정은 모르는 신입에게 일을 처음 시켜놓고, 그가 들고 온 첫 초안만 보고 “역시 신입은 안 되네”라고 판정하는 사람은 없으니까요. 그런데 유독 AI에게는 그렇게 합니다.

첫 답은 제출물이 아니라 초안입니다

왜 그럴까요. 우리가 기계를 다뤄온 방식이 몸에 배어 있기 때문입니다.

엑셀에 수식을 정확히 넣으면 정확한 값이 한 번에 나옵니다. 단축키를 누르면 그 기능이 곧바로 실행됩니다. 우리가 평생 다뤄온 도구는 한 번의 입력에 한 번의 정답으로 응답했습니다. 그래서 우리에게 ‘도구의 출력’은 곧 ‘최종 결과’였습니다. 받아서 그대로 쓰는 것이었죠.

AI에도 같은 기대를 겁니다. 한 번 물었으니 한 번에 완성된 답이 나와야 한다고요. 그래서 첫 답이 70점이면, AI를 70점짜리 도구로 결론짓고 창을 닫습니다.

하지만 AI의 첫 답은 최종 제출물이 아니라 초안입니다. 정확히는, 초안으로 받아야 제 값을 합니다. 첫 답의 점수는 AI의 실력이 아니라, 대화의 출발선일 뿐입니다. 진짜 결과물은 그 다음에 만들어집니다.

그런데 ‘다시 해줘’로는 좋아지지 않습니다

여기서 많은 분이 한 발은 더 나아갑니다. 첫 답이 마음에 안 들면 ‘다시 생성’ 버튼을 누르거나, 똑같은 질문을 한 번 더 던집니다. 그렇게 두세 번 굴려보고, 그래도 시원찮으면 그제야 포기합니다.

그런데 이건 조율이 아닙니다. 주사위를 다시 굴리는 것에 가깝습니다.

같은 프롬프트로 다시 생성하면, AI는 같은 재료를 가지고 그저 다른 경우의 수를 하나 더 보여줄 뿐입니다. 운이 좋으면 조금 나은 게 나오고, 운이 나쁘면 더 못한 게 나옵니다. 방향이 없습니다. 그래서 열 번을 굴려도 과녁 주변을 맴돌 뿐, 중심에 꽂히지 않습니다. 이건 실력이 아니라 복권입니다.

진짜 조율은 다릅니다. 첫 답을 보고 무엇이 어긋났는지 짚어서 돌려주는 겁니다. “전체 방향은 좋은데, 톤이 너무 딱딱합니다. 보고가 아니라 동료에게 설명하듯 풀어주세요.” “세 번째 근거가 약합니다. 이 자료를 반영해서 그 문단만 다시 써주세요.” “결론이 두루뭉술합니다. 숫자 하나로 끝맺어 주세요.”

좋은 관리자가 신입의 초안에 빨간펜을 대는 방식과 똑같습니다. “다시 해와”라고만 하면 신입은 무엇을 고쳐야 할지 몰라 또 비슷한 걸 들고 옵니다. 하지만 어디가 왜 부족한지 짚어주면, 다음 초안은 분명히 나아집니다. AI도 정확히 그렇습니다. ‘다시’는 같은 자리에서 주사위를 굴리는 것이고, 조율은 한 발씩 과녁에 다가가는 것입니다.

조율은 사실 ‘평가하는 눈’입니다

그렇다면 조율을 잘하는 사람과 못하는 사람을 가르는 건 무엇일까요. 프롬프트 기술이 아닙니다. 무엇이 잘된 결과인지 알아보는 눈입니다.

생각해 보면 당연합니다. “여기 톤이 딱딱하다”고 짚으려면, 먼저 어떤 톤이 적절한지 내 머릿속에 있어야 합니다. “근거가 약하다”고 말하려면, 무엇이 강한 근거인지 알아야 합니다. 평가 기준이 없는 사람은 첫 답이 좋은지 나쁜지조차 판단하지 못하고, 그래서 고쳐 시킬 수도 없습니다. 결국 ‘다시’ 버튼만 누르게 되는 겁니다.

그래서 조율은 입력의 기술이 아니라 안목의 문제입니다. 그리고 이 지점이, AI가 사람을 대신할 수 없는 마지막 자리이기도 합니다. AI는 그럴듯한 초안을 얼마든지 빠르게 만들어냅니다. 하지만 “이만하면 됐는가, 아직 무엇이 부족한가”라는 판단만큼은 AI가 대신 내려주지 못합니다. 그 판단을 쥔 사람이 결과물의 최종 품질을 정합니다.

AI라서 오히려 더 주고받아야 합니다

여기에 사람과 다른 점이 하나 더 있습니다. 사람 후배에게는 초안을 다섯 번씩 돌려보내기가 어렵습니다. 미안하고, 시간이 들고, 상대도 지치니까요. 그래서 우리는 어지간하면 적당한 선에서 받습니다.

AI에게는 그 비용이 거의 없습니다. 몇 번을 돌려보내도 지치지 않고, 즉시 다시 들고 옵니다. 그러니 사람에게라면 참았을 그 두세 번을, AI에게는 마음껏 해도 됩니다. 오히려 한 번에 끝내려 하지 않는 편이 결과가 좋습니다.

단, 횟수 자체가 목적은 아닙니다. 핵심은 매 라운드가 과녁에 가까워지느냐입니다. 방향 없이 열 번 굴리는 것보다, 무엇이 어긋났는지 짚은 정확한 두 번이 낫습니다. 조율은 ‘많이’가 아니라 ‘좁혀가며’입니다.

첫 답에서 멈추지도, 무작정 다시 굴리지도 마십시오

다시 처음으로 돌아갑니다. AI를 한 번 써보고 별로라고 느꼈다면, 그건 AI의 실력이 아니라 초안의 점수를 본 것뿐입니다. 거기서 멈추지 마십시오. 그렇다고 같은 질문을 무작정 다시 굴리지도 마십시오.

대신 이렇게 물어보십시오. 이 초안에서 정확히 무엇이 어긋났는가. 그걸 한 줄로 말할 수 있다면, 그 한 줄이 다음 답을 끌어올립니다. 한 줄로 말하지 못하겠다면, 부족한 건 AI가 아니라 내 안의 기준입니다.

이것이 일을 맡기는 마지막 단계, 조율입니다. 맥락을 주고, 기준을 주고, 재료를 주는 것까지 해냈어도, 받아온 결과를 보고 고쳐 다시 맡기지 못하면 위임은 절반에서 멈춥니다. 그리고 이것 역시, 더 좋은 프롬프트의 문제가 아니라 일하는 방식의 문제입니다. AI는 한 번에 답을 주는 자판기가 아니라, 주고받으며 함께 좁혀가는 동료입니다.