AX 계획서에는 만드는 일만 적혀 있습니다

들어가며 — 계획서 한 장

있을 법한 문서 한 장으로 시작하겠습니다.

어느 조직의 AX 추진 계획서입니다. 스무 장쯤 되고, 잘 만들어져 있습니다. 모델을 무엇으로 할지 검토한 표가 있고, 데이터를 어디서 모아 어떻게 정제할지가 단계별로 적혀 있고, 인프라와 보안 검토 항목이 붙어 있고, 개발 일정이 주 단위로 쪼개져 있습니다. 마지막 장에는 성공 기준이 있습니다. 1단계 구축 완료, 정확도 목표치.

빠진 게 없어 보입니다. 그런데 한 가지 질문을 들고 처음부터 다시 넘겨 보면 이상한 일이 생깁니다.

누가, 어떤 일에서, 무엇을 다르게 하게 되나.

이 질문에 답하는 줄이 한 줄도 없습니다.

1. 계획서는 그 조직이 무엇을 AX라고 믿는지 적어 놓은 문서입니다

계획서는 앞으로 할 일의 목록이지만, 동시에 자백서이기도 합니다. 항목으로 올라간 것이 그 조직이 “이게 일이다”라고 여기는 것이고, 항목에 없는 것은 일로 세지 않는다는 뜻이니까요.

만드는 일은 자세히 적힙니다. 모델, 데이터, 인프라, 일정. 각각 담당자가 있고 마감이 있고 산출물이 있습니다.

일하는 방식을 바꾸는 일은 항목이 없습니다. 있어도 대개 마지막 장에 “전사 교육 2회”나 “변화관리” 같은 한 줄로 붙어 있습니다. 담당자도 마감도 산출물도 없는 줄입니다.

이건 예산이나 의지의 문제가 아닙니다. 애초에 그 일이 항목으로 세어지지 않은 것입니다. 계획서에 없는 일은 진척을 묻지 않고, 진척을 묻지 않는 일은 아무도 하지 않습니다.

2. 그런데 실패는 대개 만든 것 바깥에서 납니다

1년 뒤에 무엇이 실패로 기록되는지 보면 방향이 어긋나 있습니다.

우리는 실패가 이렇게 올 거라고 예상합니다. 모델 성능이 안 나온다, 데이터가 부족하다, 시스템이 자꾸 멈춘다. 그래서 계획서의 대부분이 그 실패를 막는 데 쓰여 있습니다.

실제로 오는 실패는 대개 다른 모양입니다. 만든 건 잘 돌아갑니다. 그런데 아무도 자기 일에 얹지 않습니다.

도구는 깔렸는데 열어 보는 사람이 적고, 잘 쓰던 몇 명은 원래 잘하던 사람이고, 나머지는 기존 방식으로 돌아가 있습니다. 1년 뒤 회고에서는 대개 “현업의 관심이 낮았다”로 정리됩니다. 하지만 관심이 낮았던 게 아니라, 관심을 무엇에 쏟아야 하는지가 아무 데도 안 적혀 있었던 겁니다.

AX가 작은 DX가 아닌 이유를 지난 글에서 이야기했습니다. 준비가 끝나야 시작하는 게 아니라 시작해야 무엇을 준비할지 알게 된다고요. 계획서 이야기는 그 명제의 문서판입니다. 시작을 준비의 뒤에 두면 일정이 밀리는 데서 끝나지만, 바꾸는 일을 항목에서 빼면 그 일은 밀리는 게 아니라 아예 존재하지 않게 됩니다.

3. 왜 한쪽 칸만 채워지나 — 부실해서가 아닙니다

여기서 흔한 오해를 하나 걷어내고 싶습니다. 계획서가 그렇게 짜이는 건 대충 만들어서가 아닙니다. 오히려 그 반대입니다.

계획을 짜는 사람은 대개 만드는 쪽 사람입니다. 모델을 다뤄 왔고, 데이터를 만져 왔고, 시스템을 구축해 본 사람입니다. 그 경력이 있으니까 그 자리에 있는 거고요.

그리고 사람은 자기가 잘 아는 것을 항목으로 만듭니다. 잘 아는 일은 단계가 보이니까 주 단위로 쪼갤 수 있습니다. 반대로 “영업팀 김 대리의 주간 보고가 어떻게 달라지나”는 잘 모르는 일이라 쪼갤 수가 없습니다. 쪼갤 수 없으니 일정에 못 올리고, 일정에 못 올리니 계획서에서 사라집니다.

그래서 계획서는 부실해서 한쪽이 비는 게 아니라, 잘하는 것을 성실하게 적어서 한쪽이 빕니다. 성실할수록 왼쪽 칸이 더 촘촘해지고, 촘촘할수록 그 계획서는 더 완성돼 보입니다.

전에 잘 만든 콘텐츠일수록 도구가 주인공이 되는 함정을 이야기한 적이 있습니다. 정확하고 친절하고 빠짐없이 만들수록 정작 사람이 가져갈 것은 남지 않는 현상이었죠. 계획서에서 벌어지는 일이 정확히 같은 형태입니다. 잘 만들수록 틀리는 종류의 실패입니다.

4. 그래서 성공 지표가 “구축 완료”가 됩니다

항목이 한쪽에만 있으면 지표도 한쪽에서만 나옵니다.

계획서 마지막 장의 성공 기준을 보면 대개 이런 것들입니다. 1단계 구축 완료. 응답 정확도 몇 퍼센트. 처리 속도 몇 초. 전부 만든 것의 상태를 재는 자입니다.

이 지표들이 틀린 건 아닙니다. 다만 이것만 있으면 이상한 결과가 나옵니다. 지표가 전부 초록불인데 조직에서 달라진 게 없는 상황이 가능해집니다. 구축은 완료됐고 정확도는 목표를 넘겼는데, 사람들의 하루는 작년과 똑같습니다.

그리고 이 상태는 성공으로 보고됩니다. 재기로 한 것을 다 달성했으니까요.

여기서 흔히 나오는 대안이 사용률입니다. 몇 명이 쓰는지, 몇 번 쓰는지를 세자는 겁니다. 자연스러운 반응이지만, 이건 자를 하나 더 잘못 고르는 쪽에 가깝습니다.

많이 쓴다고 잘 쓰는 게 아니라는 이야기를 전에 했습니다. 그건 개인의 실력을 재는 자에 대한 이야기였는데, 조직의 성과를 재는 자로 놓아도 결론은 같습니다. 사용 횟수는 열어 봤다는 사실은 증명하지만 일이 달라졌다는 사실은 증명하지 못합니다. 매일 열어 보면서 결과를 하나도 안 쓰는 것도 가능하니까요.

그래서 재야 할 것은 하나입니다. 어떤 일이, 어떻게 달라졌나.

이 자는 퍼센트로 안 나옵니다. 대신 문장으로 나옵니다. “월간 실적 보고 초안 작성이 반나절에서 한 시간으로 줄었고, 남은 시간은 원인 분석에 쓴다.” 정량화가 덜 된 대신, 이 문장은 거짓말을 하기가 어렵습니다. 안 달라졌으면 쓸 문장이 없습니다.

5. 항목표를 두 칸으로 나눠 보면 보입니다

처방은 단순합니다. 계획서의 항목표를 두 칸으로 나누는 것입니다.

계획서의 왼쪽 칸은 주 단위로 촘촘하고, 오른쪽 칸은 대개 비어 있습니다. 성패는 비어 있는 쪽에서 갈립니다.

왼쪽은 만드는 항목입니다. 모델, 데이터, 인프라, 일정. 지금 계획서에 있는 것들이 대부분 여기로 갑니다.

오른쪽은 바꾸는 항목입니다. 여기에 들어갈 줄은 이런 모양이어야 합니다.

어떤 업무를 대상으로 하나 (부서가 아니라 업무 하나로)
그 업무에서 지금 사람이 하는 단계 중 무엇이 사라지거나 짧아지나
그렇게 하려면 그 사람이 새로 해야 하는 일은 무엇인가 (대개 검증입니다)
막히면 누구에게 묻나
잘된 방식은 어디에 남나

마지막 두 줄이 특히 자주 빠집니다. 교육 한 번으로 정착이 되지 않는 이유가 여기 있습니다. 막혔을 때 물을 곳이 없으면 사람은 조용히 원래 방식으로 돌아가고, 잘된 방식이 개인 채팅에만 남으면 그 사람이 자리를 옮길 때 팀에는 아무것도 안 남습니다.

기준은 하나로 말할 수 있습니다. 오른쪽 칸이 비어 있으면 그건 AX 계획이 아니라 개발 계획입니다. 개발 계획이 나쁘다는 뜻이 아닙니다. 다만 이름을 정확히 붙이면, 지금 그 조직이 무엇을 하고 있고 무엇을 안 하고 있는지가 회의실에서 바로 보입니다.

한 가지 덧붙이면, 오른쪽 칸은 왼쪽 칸이 다 끝난 뒤에 채우는 칸이 아닙니다. 오히려 순서가 반대입니다. 오른쪽 칸을 먼저 한 줄이라도 채워 봐야 왼쪽 칸에 무엇이 필요한지가 정해집니다. 어떤 업무를 어떻게 바꿀지가 정해지지 않은 상태에서 정한 모델과 데이터는, 무엇을 자산으로 남길지 모르는 채 모아 둔 데이터와 같은 처지가 됩니다.

6. 이건 조직만의 이야기가 아닙니다

같은 표를 개인이 그려도 결과가 비슷하게 나옵니다.

우리가 각자 세우는 “AI 좀 제대로 써 보자”는 계획도 대개 왼쪽 칸입니다. 유료 결제를 하고, 도구를 몇 개 붙이고, 프롬프트를 모아 두고, 자동화를 하나 짜 봅니다. 전부 만드는 항목입니다. 진척이 눈에 보이고, 해낸 느낌이 확실합니다.

오른쪽 칸은 이런 질문입니다. 이번 주 내 일 중에 무엇이 달라지나. 월요일 회의 준비를 어떻게 다르게 하나, 보고서 초안을 어디서부터 맡기나, 그렇게 아낀 시간은 무엇에 쓰나.

이 질문에 답이 없으면 도구는 늘고 하루는 그대로입니다. 몇 달 뒤 남는 건 결제 내역과 안 쓰는 계정입니다.

조직이든 개인이든 함정의 모양이 같습니다. 만드는 일은 진척이 보이고 바꾸는 일은 안 보입니다. 그래서 보이는 쪽만 계속 하게 됩니다.

마무리 — 안 적힌 것이 안 일어납니다

정리하겠습니다.

AX 계획서를 열면 항목이 한쪽에만 있습니다. 모델과 데이터와 인프라는 주 단위로 촘촘한데, 누가 어떤 일에서 무엇을 다르게 하는지는 한 줄도 없습니다. 부실해서가 아니라 계획을 짜는 사람이 자기가 잘 아는 것을 성실하게 적었기 때문입니다.

그런데 실패는 대개 그 바깥에서 옵니다. 만든 게 안 돌아가서가 아니라, 만든 걸 아무도 자기 일에 안 얹어서입니다. 지표가 구축 완료와 정확도로만 잡혀 있으면 그 실패는 성공으로 보고되기까지 합니다.

그래서 항목표를 두 칸으로 나누자는 게 이 글의 전부입니다. 만드는 항목과 바꾸는 항목. 오른쪽 칸이 비어 있으면 그건 개발 계획입니다.

AX에서 어려운 부분은 대개 모델 쪽에 있지 않습니다. 모델은 이미 충분히 좋고, 앞으로 더 좋아집니다. 어려운 건 어제까지 하던 방식으로 일하는 사람이 오늘 다른 방식으로 일하게 만드는 것이고, 그건 알고리즘으로 풀리는 문제가 아닙니다.

그리고 계획서에 안 적힌 일은 일어나지 않습니다. 그러니 다음에 그런 문서를 만들거나 검토할 자리에 앉게 되면, 질문 하나만 들고 가면 됩니다.

이 계획대로 다 되면, 누구의 어떤 일이 어떻게 달라집니까?

이 질문에 항목표를 짚으며 답할 수 있으면 그건 AX 계획입니다. 답이 사람 이름 없이 시스템 이름으로만 나오면, 아직 반쪽입니다.