흠집은 보이고, 각도는 안 보입니다

들어가며 — 결함 세 개짜리 보고서 한 장

교육에서 자주 쓰는 실습이 하나 있습니다. 성과 보고서 한 장을 만들어 나눠 주는데, 그 안에 결함을 세 개 심어 둡니다. 그리고 딱 하나만 묻습니다. “이 중 가장 치명적인 것 하나를 고르세요.”

심어 두는 셋은 이렇습니다.

나라마다 통화와 기간 기준이 달라서, 그 표가 사실은 비교표가 아닌 것
일부 채널의 데이터가 비어 있는 것
결론은 “구매가 늘었다”인데, 근거로 붙은 차트는 “사이트 방문자 수”인 것

셋 다 결함이 맞습니다. 그런데 손은 대개 앞의 둘로 올라갑니다. 세 번째를 짚는 손은 늘 적어요. 어제 진행한 교육에서도 같은 장면이 나왔습니다.

흥미로운 건 이게 실력 차이가 아니라는 점입니다. 앞의 둘을 짚는 사람들은 오히려 꼼꼼히 본 사람들입니다. 표를 열어 보고, 빈 칸을 세어 보고, 단위가 섞인 걸 발견해냈어요. 문제는 그 꼼꼼함이 한 방향으로만 작동했다는 데 있습니다.

1. 앞의 둘과 나머지 하나는 층이 다릅니다

먼저 셋의 성질을 갈라 보겠습니다.

기준이 섞인 것과 데이터가 빈 것은 보완하면 되는 결함입니다. 통화를 맞추고, 기간을 맞추고, 빠진 값을 채우면 그 보고서는 살아납니다. 결론은 그대로 두고 재료만 손보면 되니까요. 불편하지만 치명적이지는 않습니다.

세 번째는 다릅니다. 결론은 “구매가 늘었다”인데 근거는 방문자 수를 보여주고 있다면, 이건 재료가 부실한 게 아니라 결론과 근거가 서로 다른 것을 재고 있는 겁니다. 방문자가 늘었다고 구매가 늘었다는 보장이 없죠. 여기서는 데이터를 아무리 깨끗하게 다듬어도 결론이 살아나지 않습니다. 고칠 대상이 데이터가 아니라 주장 쪽에 있으니까요.

정리하면 이렇습니다. 앞의 둘은 보고서 안의 흠집이고, 세 번째는 보고서가 서 있는 각도의 문제입니다.

2. 각도는 왜 안 보일까요

여기서 이 글의 본론입니다. 왜 사람들은 흠집은 그렇게 잘 찾아내면서, 각도는 못 볼까요.

각도가 어려워서가 아닙니다. 앞의 두 결함은 화면 안에 있고, 세 번째 결함은 화면을 만든 전제 안에 있기 때문입니다. 무엇을 결론으로 잡을지, 그 결론을 무엇으로 증명할지는 보고서를 열기 전에 이미 정해졌습니다. 그리고 그렇게 정해진 것은 검토 대상 목록에 안 올라옵니다. 검토는 늘 “정해진 것 안에서” 시작하거든요.

그래서 이런 일이 벌어집니다. 한 각도 안에 있으면, 그 각도가 틀렸다는 건 보이지 않습니다. 보이는 건 그 각도 안의 흠집뿐입니다.

이건 남의 보고서를 볼 때보다 내 보고서를 볼 때 훨씬 심해집니다. 남의 것은 최소한 내가 안 정한 전제라 낯설게 보이기라도 하는데, 내 것은 그 전제를 내가 만들었으니 아예 보이지가 않아요. 내가 선 자리는 내 시야에 안 들어옵니다.

같은 한 장을 두 자리에서 볼 때. 왼쪽은 오래 봐도 오른쪽이 나오지 않습니다.

3. “다시 한번 검토했습니다”가 잘 안 듣는 이유

이 구조를 알면, 실무에서 자주 겪는 답답한 장면 하나가 설명됩니다.

보고서를 올렸다가 반려됩니다. 다시 봅니다. 숫자를 재확인하고, 오탈자를 잡고, 차트를 더 예쁘게 다듬어서 다시 올립니다. 또 반려됩니다. “뭘 더 봐야 하는지 모르겠는데요”라는 말이 나오는 자리가 여기예요.

세 번을 다시 봤지만, 세 번 다 같은 각도에서 봤기 때문입니다. 같은 자리에 서서 세 번 본 것은 한 번 본 것과 시야가 같습니다. 더 오래 보는 것으로는 각도가 안 바뀌어요. 검토 횟수는 흠집을 줄이지, 각도를 늘리지 않습니다.

그리고 대개 임원이 걸리는 지점은 흠집이 아니라 각도입니다. “그래서 이게 구매가 늘었다는 근거가 되나요?” — 이 한마디에 보고서가 멈춥니다.

4. 각도를 바꾸는 손잡이 세 개

각도는 마음먹는다고 바뀌지 않습니다. “열린 마음으로 다시 보자”는 대책이 못 됩니다. 자리를 물리적으로 옮기는 동작이 필요해요. 현장에서 쓸 만한 게 셋 있습니다.

첫째, 비교 대상을 바꿔 봅니다. 지금 이 숫자는 무엇과 비교되어 좋다/나쁘다가 됐습니까. 직전 달인가요, 작년 같은 달인가요, 목표치인가요, 경쟁 제품인가요. 비교 대상 하나만 갈아 끼워도 같은 숫자의 뜻이 뒤집히는 경우가 많습니다. 뒤집힌다면, 원래 결론은 데이터가 준 게 아니라 비교 대상이 준 것이었다는 뜻입니다.

둘째, 이 숫자를 볼 사람을 바꿔 봅니다. 우리 팀이 아니라 다른 부서가 이 표를 본다면 어디를 먼저 짚을까요. 이건 분석의 마지막 일이 설득이라서 하는 일이기도 하지만, 그전에 내 각도를 드러내는 데 더 쓸모가 있습니다. 다른 자리에 앉은 사람이 물을 질문을 미리 적어 보면, 내가 당연하게 여긴 전제가 목록으로 튀어나옵니다.

셋째, 같은 데이터로 반대 결론을 한 문장 써 봅니다. 이게 가장 셉니다. “구매가 늘었다” 옆에 “구매는 늘지 않았다”를 쓰고, 그 문장을 지지하는 근거를 같은 데이터에서 찾아보는 겁니다. 결과는 둘 중 하나예요. 못 쓰겠으면 원래 결론이 튼튼한 것이고 — 검증이 끝난 겁니다. 그런데 쉽게 써지면, 내 결론은 데이터가 정해준 게 아니라 내가 처음 떠올린 것이었다는 뜻입니다.

셋 다 5분이면 됩니다. 그리고 셋 다 도구가 필요 없습니다.

5. 채택 근거가 아니라 기각 근거를 물어보세요

각도를 여럿 만들었는지 확인하는 방법이 하나 더 있습니다. 스스로에게, 또는 후배의 보고서에 이렇게 물어보는 겁니다.

“이 결론을 왜 골랐어요?”가 아니라, “어떤 결론을 버렸어요?”

첫 번째 질문에는 누구나 답합니다. 이미 쓴 것을 설명하면 되니까요. 두 번째 질문은 각도를 여럿 만들어 본 사람만 답할 수 있습니다. 버린 게 없다면 고른 것도 없습니다. 그건 선택이 아니라 첫인상이에요.

같은 이유로, 회의에서 “다른 해석은 없었나요”를 물으면 대개 침묵이 돌아옵니다. 숨기는 게 아니라 정말로 없어서입니다. 하나만 만들었으니까요.

6. 비슷해 보이지만, 다른 자리입니다

제가 전에 쓴 데이터 관련 글들과 붙어 있어서, 선을 그어 두겠습니다.

누구를 위한 데이터 분석인가에서 같은 데이터를 두 사람에게 주면 결론이 갈린다고 썼습니다. 오늘 이야기는 그 사실을 아는 사람에게도 일어나는 일입니다. 해석이 여럿일 수 있다는 걸 알아도, 정작 자기가 어느 각도에 서 있는지는 여전히 안 보입니다. 그래서 5편의 출구가 설득이었다면, 오늘의 출구는 내 각도를 강제로 드러내는 절차입니다.

데이터는 많이 보여줄수록 안 통합니다에서는 아홉을 버리고 하나를 세우라고 썼습니다. 오늘 이야기는 그 앞 칸이에요. 아홉을 버리려면 애초에 아홉이 있어야 합니다. 하나만 만들어 놓고 좁혔다고 말하는 경우가 훨씬 많습니다.

차트에 없는 사실은, AI의 해석에도 없습니다에서는 차트 밖의 사실이 해석을 뒤집는다고 썼습니다. 오늘은 차트 밖이 아니라, 그 차트를 왜 그렸는지 쪽입니다. 자료가 모자란 게 아니라 자료를 고른 기준이 안 보이는 경우요.

말하지 않은 기준은, AI가 대신 정합니다는 계산에 들어가기 전 조건의 문제였습니다. 오늘은 계산이 다 끝나고 결론까지 나온 뒤, 그 결론이 무엇을 근거로 서 있는지의 문제입니다.

마무리 — 오래 보는 것과 다른 데서 보는 것

데이터를 잘 본다는 말은 흔히 “꼼꼼히 본다”로 이해됩니다. 틀린 말은 아닙니다. 꼼꼼함은 흠집을 잡아 주니까요.

다만 보고서를 멈춰 세우는 결함은 대개 흠집이 아니라 각도 쪽에 있고, 각도는 오래 본다고 보이지 않습니다. 다른 데서 봐야 보입니다. 그리고 다른 데서 보는 건 태도가 아니라 동작이에요. 비교 대상을 갈아 끼우고, 볼 사람을 바꾸고, 반대 결론을 한 문장 써 보는 것 — 그 세 동작이 각도를 물리적으로 옮깁니다.

그러니 보고서를 올리기 전에 마지막으로 이걸 한번 해 보시길 권합니다. “이 데이터로 정반대 결론을 쓰면 어떻게 되지?” 안 써지면 그대로 올리면 됩니다. 써지면, 지금 붙잡고 있는 결론이 아직 하나의 각도일 뿐이라는 신호입니다.

저는 도구 사용법을 가르치지 않습니다. 일하는 방식을 바꾸자고 말합니다. 데이터를 보는 일도 그렇습니다. 더 오래 들여다보는 대신 자리를 한 번 옮겨 보는 것 — 거기서부터 같은 데이터가 전혀 다른 결론을 견딥니다.