틀린 정보는 티가 납니다. 낡은 정보는 티가 안 납니다
- AI활용
- 검증
- 리서치
- 일하는방식
들어가며 — 두 번째 슬라이드에 올라와 있던 문장
한 고객사 임직원 교육 제안서를 쓰고 있었습니다. 오프닝을 이렇게 열 생각이었습니다.
“우리 회사는 한 AI 기업과 전략적 제휴를 맺으며 ‘임직원 대상 AI 활용 교육’을 공식 협력 항목으로 명시했습니다. 오늘이 그 교육입니다.”
교육 오프닝으로 이보다 좋은 카드는 드뭅니다. “왜 AI를 배워야 하나”를 설득할 필요가 아예 없어지니까요. 회사가 이미 그렇게 말했으니 말입니다.
근거는 AI에게 찾게 했습니다. 그리고 AI는 아주 잘 가져왔습니다. 발표 날짜, 행사 장소, 협력 항목, 그리고 임직원 교육이 그 안에 명시돼 있다는 대목까지. 언론사 여러 곳의 기사가 서로 교차 확인됐습니다. 한 점 흠이 없었습니다.
그런데 이건 남의 회사 이야기입니다. 그것도 그 회사 임직원들 앞에서, 그들의 회사에 대해 하는 말입니다. 틀리면 그 자리에서 바로 들통납니다. 나보다 그들이 잘 아니까요.
그래서 슬라이드에 넣기 전에 교육 담당자에게 확인을 요청했습니다. “이 내용, 지금도 맞습니까?”
돌아온 답은 뜻밖이었습니다.
“저희 그거 안 씁니다. 다른 거 쓰고 있어요.”
기사와 현장이 어긋나 있었습니다. 발표는 분명히 있었는데, 정작 그 회사에서 열리는 화면은 다른 회사 것이었습니다.
그제야 알았습니다. 그 발표는 이미 유효하지 않았습니다. 계획은 바뀌었고, 회사는 다른 길로 갔습니다. 다만 그 이야기는 어디에도 크게 실리지 않았을 뿐입니다.
발표는 사방에서 읽혔고, 그 뒤에 벌어진 일은 아무 데서도 읽히지 않았습니다. 그래서 이미 유효하지 않은 문장이, 그 회사 임직원 수십 명 앞에 띄울 두 번째 슬라이드에 올라와 있었습니다.
물어봤으니 사고는 나지 않았습니다. 그런데 여기서 짚어야 할 건 “다행이다”가 아닙니다. 그 한 번의 확인이 없었다면 저 문장은 그대로 통과했을 거라는 것, 그리고 우리가 AI에게 시켜서 받아오는 조사 결과 대부분에는 그 확인이 붙어 있지 않다는 것입니다.
1. AI는 거짓말하지 않았습니다
먼저 분명히 해둘 게 있습니다. AI가 지어낸 게 아닙니다. 가져온 건 전부 진짜였습니다. 날짜도 진짜, 인용 문구도 진짜, 기사도 진짜였습니다.
문제는 찾은 것이 아니라 안 찾은 것이었습니다.
제가 시킨 검색은 “○○사 AI 제휴”였습니다. 그러면 나오는 건 제휴 발표 기사입니다. 그것도 수십 건. 전부 같은 날짜, 전부 같은 내용.
여기서 함정이 하나 더 숨어 있습니다. 이런 결과는 교차 확인이 완벽하게 됩니다. 서로 다른 매체 다섯 곳이 같은 말을 하고 있으니까요. 그런데 그 다섯 곳은 같은 보도자료를 받아 쓴 것입니다. 다섯 개의 증거가 아니라, 하나의 증거가 다섯 번 복사된 것이죠. 출처를 늘려도 검증이 두꺼워지지 않습니다.
44편에서 이런 얘기를 했습니다 — 검사를 통과했다는 건 “내가 물어본 것만 맞다”는 뜻이지 결과가 맞다는 뜻이 아니라고요. 검색도 똑같습니다. 검색은 내가 물어본 것만 찾아줍니다. 저는 “제휴가 있었나”를 물었고, 검색은 그 질문에 정확하게 답했습니다. 있었습니다. 다만 지금도 유효한가는 아무도 묻지 않았을 뿐입니다.
2. 발표는 시끄럽고, 철회는 조용합니다
그런데 왜 하필 취소된 사실이 안 잡힐까요. 검색 엔진이 부실해서가 아닙니다. 정보가 만들어지는 방식 자체가 비대칭이기 때문입니다.
회사가 손을 잡을 땐 보도자료를 뿌리고, 사진을 찍고, 임원이 나와서 한마디 합니다. 그만둘 땐 한 줄로 끝납니다. 아니, 대개는 아무 말도 하지 않습니다. 그냥 슬그머니 안 합니다. 알리고 싶은 사실에는 예산이 붙고, 알리고 싶지 않은 사실에는 안 붙습니다.
그 결과가 검색 결과 첫 화면입니다. 발표 기사는 수십 건이고 철회 기사는 한두 건입니다. 검색 엔진이 인용·링크·트래픽으로 순위를 매기는 한, 조용한 사실은 시끄러운 사실을 이길 수 없습니다. 첫 화면은 영원히 발표 기사입니다. AI에게 웹을 검색시켜도 결과는 같습니다. AI도 결국 상위 결과를 읽으니까요.
그래서 세상의 사실을 이렇게 나눠 볼 필요가 있습니다.
- 일어난 일 — 발표·출시·체결·수상. 누군가 알리고 싶어 하는 사실. 시끄럽다.
- 취소된 일 — 철회·중단·단종·번복. 누구도 알리고 싶지 않은 사실. 조용하다.
AI는 시끄러운 사실을 아주 잘 찾습니다. 조용한 사실은 내가 이름을 불러줘야 찾습니다.
3. 이건 뉴스만의 이야기가 아닙니다
같은 날 다른 작업에서 똑같은 구조를 다시 만났습니다. 자동화 도구(n8n) 설치 안내 책자를 만들면서 AI에게 공식 문서를 조사시켰습니다. 꼼꼼하게 정리해 왔습니다. 그대로 실었다면 최소 네 군데가 틀린 채로 나갔을 겁니다.
- 공식 예제에 들어 있는 설정 옵션 하나는, 실제로 실행해보니 프로그램이 스스로 “이제 필요 없으니 빼라”고 경고를 뱉었습니다.
- 거의 모든 블로그가 권하는 옵션 하나는 새 버전에서 삭제됐습니다. 지금 쓰면 오류도 안 나고 조용히 무시됩니다. 안 된 줄도 모릅니다.
- 공식 문서 본문은 최신 안정 버전을 2.29.8이라고 적어뒀는데, 실제로 받아지는 건 2.29.10이었습니다. 문서가 자기 버전조차 못 따라갑니다.
“공식 문서”라는 말은 권위 있다는 뜻이지 최신이라는 뜻이 아닙니다. 문서도 사람이 쓰고, 사람은 안 고칩니다. 출처의 권위는 시점을 보증하지 않습니다.
그러니 검색 결과도, 공식 문서도, AI의 요약도 결국 같은 물건입니다 — 과거 어느 시점의 스냅샷.
42편에서 “최신 모델도 낡았으니 웹을 확인시켜라”고 썼는데, 오늘 이야기는 그 처방의 다음 칸입니다. 웹을 확인시켜도 낡은 정보는 통과할 수 있습니다. 웹 자체가 발표 시점에 멈춰 있기 때문입니다. 확인시키는 것만으로는 부족하고, 무엇을 확인시키느냐가 남습니다.
4. 그래서 무엇을 다르게 하나 — 두 번 묻습니다
사실 확인은 한 번이 아니라 두 번입니다.
1차 — “그 일이 있었나?” 있었다는 답이 옵니다. AI가 가장 잘하는 일입니다. 그리고 대부분 여기서 멈춥니다. 답이 왔으니까요.
2차 — “그 뒤에 뒤집혔나?” 이걸 묻지 않으면 잡히지 않습니다.
2차 질문은 단어를 바꿔야 나옵니다. 같은 검색어를 다시 치면 같은 첫 화면이 나올 뿐입니다. 조용한 사실은 조용한 단어로만 불러낼 수 있습니다 — 중단, 철회, 번복, 종료, 단종.
그리고 시점을 못 박아야 합니다. “최신”은 검색어가 아닙니다. AI에게 “최신 정보로 찾아줘”라고 하면 최신처럼 보이는 걸 찾아옵니다. “2026년 7월 기준”이라고 날짜를 박아야 그 시점의 웹을 봅니다. 실제로 사흘 전에 나온 기능을 “신기능”으로 검색하면 두 달 전 기사가 위에 뜹니다.
의심의 강도를 어디에 걸지도 기준이 필요합니다. 세 가지만 보면 됩니다.
- 얼마나 오래된 사실인가. 발표가 오래됐을수록 뒤집혔을 확률이 쌓입니다.
- 누가 알리고 싶어 한 사실인가. 알리고 싶어 한 쪽이 있다면, 반대편 사실은 조용히 묻혀 있습니다.
- 틀리면 누가 아는가. 그 방에 있는 사람들이 나보다 잘 아는 사실이라면, 검증 강도를 끝까지 올립니다.
마지막 항목이 특히 중요합니다. 남의 회사 이야기를 그 회사 사람들 앞에서 하는 겁니다. 그들이 나보다 잘 압니다. 가장 강한 카드가 가장 위험한 카드인 이유죠.
그리고 그 경우엔 답이 간단합니다. 검색을 한 번 더 돌리지 말고, 아는 사람에게 물어봅니다. 웹에 없는 사실은 검색을 백 번 해도 안 나옵니다.
5. 완벽한 근거일수록, 한 번 더 의심해야 합니다
여기서 이 글의 진짜 대목이 나옵니다.
저 사실을 잡아낸 건 더 좋은 검색어도, 더 좋은 모델도 아니었습니다. 담당자에게 물어본 한 번이었습니다. 그것도 “이거 맞나요?”라고 물은 게 전부입니다.
그 사람은 기사를 읽고 안 게 아닙니다. 자기 회사에서 뭘 쓰는지 그냥 압니다. 그리고 이건 어느 웹페이지에도 적혀 있지 않습니다. 적힐 이유가 없으니까요. 기사로 나가는 건 “그룹이 손을 잡았다”이지, “그런데 현장 PC에는 다른 게 깔려 있다”가 아닙니다. 기사와 현장 사이의 어긋남은 웹에 없습니다. 사람에게만 있습니다.
그리고 그 한마디가 없었다면, 저는 그 문장을 다시 들여다볼 이유가 없었습니다. 의심할 이유가 없었으니까요.
여기에 뼈아픈 구조가 있습니다. 2차 질문은 의심이 있어야 나옵니다. 그런데 근거가 완벽할수록 의심은 사라집니다. 날짜가 있고, 장소가 있고, 인용 문구가 있고, 매체 다섯 곳이 같은 말을 하면 — 더 물어볼 게 없어 보입니다. 검증을 촉발하는 신호와, 검증이 가장 필요한 상황이 정확히 반대로 작동합니다.
그러니 규칙을 뒤집어야 합니다. 근거가 완벽할수록 한 번 더 의심합니다. 매끈함은 안전 신호가 아니라, 확인이 한 겹밖에 안 됐다는 신호일 수 있습니다.
그리고 솔직히 말하면, “물어보는 것”만으로는 믿을 만한 방어선이 못 됩니다. 이번엔 물어볼 담당자가 있었습니다. 그런데 우리가 AI에게 조사를 시키는 일 대부분은 물어볼 사람이 없는 영역입니다. 처음 보는 시장, 남의 업계, 어제 나온 기능. 거기엔 어긋남을 짚어줄 사람이 없습니다.
그러니 이걸 감이나 주의력에 맡기면 안 됩니다. 44편에서 썼듯 “다음엔 조심하겠습니다”는 대책이 아닙니다. 조사를 시키는 프롬프트에 2차 질문을 아예 붙여둡니다.
“이 사실이 이후에 철회·변경·중단됐는지 별도로 검색해서 확인해줘. 오늘(2026년 7월) 기준이야. 반증을 못 찾았으면 ‘반증 못 찾음’이라고 명시해줘.”
마지막 문장이 핵심입니다. 없으면 없다고 말하게 시켜야 합니다. 그러지 않으면 AI는 침묵으로 넘어가고, 우리는 그 침묵을 “괜찮다”로 읽습니다.
마치며 — 낡은 정보는 티가 안 납니다
회사 이야기는 통째로 뺐습니다. 대신 오프닝을 회사 밖의 사실로 열었습니다. “AI가 엑셀 안으로 들어왔다” — 이건 뒤집히지 않습니다. 이미 일어난 일이고, 누군가 취소할 수 있는 결정이 아니니까요. 교육의 논리는 그것 없이도 섭니다. 그러면 빼는 게 맞습니다.
AI가 틀린 말을 하면 우리는 알아챕니다. 어색하고, 앞뒤가 안 맞고, 찾아보면 안 나옵니다.
그런데 AI가 낡은 말을 하면 알아채지 못합니다. 매끄럽고, 앞뒤가 맞고, 찾아보면 잘 나옵니다. 심지어 여러 곳에서 확인까지 됩니다.
틀린 정보는 티가 납니다. 낡은 정보는 티가 안 납니다.
AI는 “일어난 일”을 아주 잘 찾습니다. “그 일이 취소된 것”은, 내가 의심하고 다시 물을 때만 찾습니다.
그래서 AI에게 조사를 맡길수록 남는 일은 정보를 찾는 일이 아닙니다. 찾아온 정보에 대고 “이거 아직도 사실입니까?”라고 한 번 더 묻는 일입니다. 그건 검색어를 잘 쓰는 요령이 아니라, 일하는 방식의 문제입니다.