AI가 무엇을 보고 답했는지, 아무도 알려주지 않습니다
- AI활용
- 검증
- 컨텍스트
- 일하는방식
들어가며 — “최근 기록을 분석했습니다”
개인적으로 쓰는 운동·식단 기록 앱에 AI 코치 기능을 붙여두고 있습니다. 버튼을 누르면 AI가 최근 기록을 읽고 다음 주 계획을 조언해줍니다. 몇 주 동안 잘 써왔고, 답도 늘 그럴듯했습니다.
프로그램을 새것으로 갈아타기 전에, 늘 하던 확인을 했습니다. AI에게 실제로 무엇이 넘어가는지 코드를 열어본 겁니다. 한 줄이었어요.
기록 파일의 마지막 40줄을 넘긴다.
그런데 그 파일은 운동 세트 하나당 한 줄씩 쌓입니다. 한 세션이 20~30줄이에요. 그러니까 AI가 읽은 “최근 기록”은 세션 한 번 반이었습니다. 저는 6주, 스무 번의 세션을 채운 뒤였고요.
무엇도 고장 나지 않았습니다. 버튼은 눌렸고, 답은 왔고, 코치는 자신 있게 조언했습니다. 에러도 경고도 없었습니다. 화면 어디에도 “당신 기록의 일부만 봤습니다”라고 쓰여 있지 않았고요.
1. 잘린 건 답이 아니라 근거였습니다
이 블로그에서 AI의 답을 어떻게 검증할지는 여러 번 다뤘습니다. 답을 끝까지 읽는 일, 됐다는 말과 실제로 된 결과를 구분하는 일, 검사를 주의가 아니라 장치로 만드는 일까지요. 전부 돌아온 답을 어떻게 볼 것인가에 관한 이야기였습니다.
그런데 답이 아니라 답의 재료가 잘리면 어떻게 될까요.
답은 멀쩡한 모양으로 나옵니다. 오히려 더 매끄럽게 나와요. 자료가 적을수록 서로 어긋나는 대목도 적으니까요. 6주를 본 코치는 “3주차부터 무게가 정체됐고 회복이 부족해 보인다”처럼 조심스럽게 말하지만, 한 세션만 본 코치는 그 한 번의 기록에 딱 맞는 조언을 시원하게 내놓습니다. 근거가 잘린 AI는 더 자신 있게 틀립니다.
그리고 여기가 핵심입니다. 출력이 그럴듯하면, 사람은 입력을 의심하지 않습니다. 답이 이상해야 재료를 열어보는데, 답이 괜찮으니 열어볼 이유가 없는 거예요. 빨간 글씨가 뜨면 초보자도 고칩니다. 이건 초록 불인 채로 6주를 갑니다.
2. 창이 작아서 잘린 게 아닙니다
열흘 전에 긴 문서를 통째로 주면 답이 흐려진다고 썼습니다. AI에게는 한 번에 볼 수 있는 창이 있고, 그보다 큰 자료를 밀어넣으면 뒷부분이 조용히 잘린다고요. 그럼 이것도 같은 이야기 아니냐 — 아닙니다. 정확히 반대편의 이야기입니다.
그 글은 창이 작아서 넘친 경우였습니다. 오늘은 창이 남아도는데도 안 들어온 경우예요.
6주치 기록 전부를 세션 단위로 정리해보니 6천 자 남짓이었습니다. 요즘 AI의 창에 여유롭게 들어가고도 한참 남는 양입니다. 창은 텅 비어 있었어요. 자료가 안 온 겁니다.
이 차이가 중요한 이유는, 처방이 완전히 달라지기 때문입니다. 창이 넘친 문제라면 자료를 좁혀 주면 됩니다. 그런데 이건 모델을 더 좋은 걸로 바꿔도, 창이 더 큰 모델로 갈아타도 절대 안 고쳐집니다. 잘라낸 건 모델이 아니라, 모델 앞에 있던 도구였으니까요.
3. 붙여넣을 땐 알았습니다. 연결해두는 순간, 안 보입니다
그 글의 처방은 “통째로 던지지 말고 필요한 조각을 골라 주라”는 것이었습니다. 그런데 요즘 우리는 그 고르는 일을 점점 도구에 넘기고 있습니다.
지식 베이스에 문서를 올려두고, 드라이브를 연결하고, 나만의 GPT를 만들고, 에이전트에 사내 시스템을 물립니다. 편해집니다. 매번 붙여넣지 않아도 되니까요. 그런데 그 순간 고르는 주체가 사람에서 도구로 넘어갑니다.
붙여넣을 때는 최소한 내가 무엇을 줬는지 알았습니다. 연결해두면, 무엇이 갔는지 아무도 모릅니다.
이런 장면들이 전부 같은 구조입니다.
- 20장짜리 PDF를 첨부했는데, 실제로 읽힌 건 앞쪽 몇 장뿐입니다.
- 문서 서른 개를 지식 베이스에 올렸는데, 답변에 실제로 쓰인 건 그중 몇 조각입니다.
- 드라이브를 연결했는데, 권한이 걸린 폴더는 조용히 건너뜁니다.
- 대화가 길어지자 맨 처음 준 지침이 창 밖으로 밀려났습니다.
공통점이 있습니다. 어느 쪽도 에러를 내지 않습니다. 그리고 어느 쪽도 “저는 이만큼만 봤습니다”라고 먼저 말해주지 않습니다.
RAG니 커넥터니 하는 용어는 몰라도 AI를 잘 쓸 수 있다고 썼던 입장은 그대로입니다. 그건 엔진룸의 언어이고, 우리는 운전석에 앉아 있으니까요. 다만 하나가 추가됩니다. 엔진이 어떻게 도는지는 몰라도 되지만, 그 엔진에 무엇이 들어갔는지는 운전석에서 물어봐야 합니다. 연료 게이지를 안 보고 달리는 운전자는 없으니까요.
그리고 어제 주간 동향에서 다룬 것처럼, 이 커넥터들은 이제 읽기를 넘어 쓰기로 넘어가고 있습니다. 무엇을 읽고 있는지 한 번도 확인해본 적 없는 AI가, 곧 내 이름으로 메일을 보냅니다.
4. 그래서 입력의 영수증을 받습니다
세 가지를 권합니다. 셋 다 오늘 할 수 있는 일입니다.
첫째, 답을 받기 전에 한 줄 더 묻습니다. “답하기 전에, 네가 실제로 받은 자료가 무엇인지 먼저 알려줘 — 파일 이름과, 어디부터 어디까지 읽었는지.” 지난주에 낡은 정보 이야기를 하면서 “못 찾았으면 못 찾았다고 말하게 시켜야 한다”고 썼는데, 여기서도 같습니다. 못 읽었으면 못 읽었다고 말하게 시켜야, 침묵을 “다 읽었음”으로 오독하지 않습니다.
둘째, 시스템이라면 다짐이 아니라 장치를 답니다. “앞으로 잘 확인하겠다”는 대책이 아닙니다. 그 앱에는 주소를 하나 만들었습니다. 열면 AI가 지금 실제로 보고 있는 기록이 그대로 화면에 뜹니다. 만드는 데 오래 걸리지 않았고, API 비용은 0원입니다. 이제는 믿지 않고 엽니다.
셋째, 그리고 이게 가장 강력합니다. 이 결함을 잡아낸 건 코드를 읽는 실력이 아니라 요구사항 한 문장이었습니다 — “지난 프로그램 기록도 같이 보게 해줘.” 그 한 문장이 없었으면 코드를 열어볼 일도 없었습니다. 개발을 모르는 사람이 할 수 있는 가장 강력한 점검은 “그거, 진짜로 다 보고 있는 거 맞아?”라고 묻는 것입니다.
5. 출력을 검증하기 전에, 입력을 검증합니다
우리는 AI의 답을 어떻게 믿을지 오래 이야기해왔습니다. 그런데 답을 아무리 노려봐도 끝내 보이지 않는 게 하나 있습니다. 그 답이 무엇을 근거로 나왔는가. 답은 화면에 있고, 근거는 화면에 없습니다.
그래서 AI가 “분석했다”고 말할 때, 무엇을 보고 그렇게 말했는가는 언제나 별도의 질문입니다. 그 질문을 하지 않으면, 우리는 일부만 본 AI의 자신 있는 요약을 전체를 본 결론으로 착각한 채 그 위에 일을 쌓습니다.
AI에게 자료를 연결해두셨다면, 오늘 한 번만 물어보세요.
“너 지금, 뭘 보고 있어?”
본문의 사례는 필자가 개인적으로 쓰는 기록 앱에서 나온 것이며, 특정 기업·클라이언트와 무관합니다. 해석과 현장 관점은 박상훈의 견해입니다.