인사이트 목록

AI에게 긴 문서를 통째로 주면, 오히려 답이 흐려집니다

  • AI교육
  • AI활용
  • 컨텍스트
  • 문서요약
  • 일하는방식

들어가며 — “왜 앞부분을 빼먹고 요약하죠?”

“긴 회의록을 통째로 넣고 정리해 달라고 했는데, 앞부분은 빼먹고 엉뚱한 데를 요약해요. AI가 왜 이렇게 성의가 없죠?”

교육 현장에서 자주 받는 질문입니다. 두꺼운 보고서, 몇십 장짜리 PDF, 한 시간짜리 회의록 전체를 그대로 붙여넣고 “요약해줘” 했는데 결과가 엉성할 때 나오는 하소연이죠. 답부터 말씀드리면 — AI가 게을러서가 아닙니다. 애초에 긴 문서를 통째로 주면 안 되는 이유가 있어요. 그리고 그 이유를 알면, 같은 AI에게서 훨씬 또렷한 답을 받을 수 있습니다.

1. AI는 두꺼운 자료를 처음부터 끝까지 넘겨보지 않습니다

우리는 두꺼운 보고서를 받으면 첫 장부터 마지막 장까지 넘겨가며 읽습니다. 필요하면 앞으로 돌아가 다시 보고요. AI는 그렇게 일하지 않아요. AI에게는 한 번에 볼 수 있는 창이 하나 있고, 그 창의 크기가 정해져 있습니다. 이걸 컨텍스트 윈도우라고 부르는데, 어렵게 들리지만 뜻은 단순해요 — 한 번에 담을 수 있는 양이 정해진 창 하나.

우리가 AI에게 넣는 글은 이 창 안에 들어간 만큼만 보입니다. 전에 AI는 기억하지 않는다고 쓰면서, AI는 정해진 창을 매번 처음부터 다시 읽을 뿐이라고 했습니다. 긴 문서를 다루는 일도 같은 원리 위에 있어요. 사람처럼 전체를 훑는 게 아니라, 창에 담긴 것만 보고 답하는 겁니다.

2. 통째로 밀어넣으면, 두 가지가 한꺼번에 깨집니다

그러니 두꺼운 자료를 통째로 밀어넣으면 무슨 일이 벌어질까요. 두 가지가 동시에 어긋납니다.

첫째, 창보다 크면 뒤가 잘립니다. 자료가 창 크기를 넘으면 넘친 부분은 아예 들어가질 못해요. “글자 수가 너무 많다”는 에러로 튕기거나, 조용히 뒷부분이 버려집니다. 앞부분만 읽고 “다 봤다”는 얼굴로 답하는 거죠. 그래서 긴 회의록 요약에서 뒤쪽 안건이 통째로 사라집니다.

둘째, 창에 들어가도 가운데가 흐려집니다. 다행히 자료가 창 안에 다 들어갔다 해도 끝이 아니에요. AI는 창 안을 균등하게 보지 않습니다. 앞과 뒤는 비교적 또렷하게 보지만 가운데로 갈수록 주의가 흐려져요. 그래서 문서 한복판에 있던 중요한 문장이 요약에서 슬쩍 빠지거나 뭉개집니다.

이 두 가지가 겹치면, “긴 문서를 넣었더니 엉뚱한 걸 요약한다”는 그 하소연이 됩니다. AI가 성의가 없어서가 아니라, 우리가 창보다 큰 걸 통째로 밀어넣었기 때문이에요.

AI의 창은 크기가 정해져 있다 — 통째로 넣기 vs 조각 골라 넣기 AI에는 한 번에 볼 수 있는 고정 크기의 창(컨텍스트 윈도우)이 있습니다. 두꺼운 자료를 통째로 밀어넣으면 창보다 커서 뒷부분이 창 밖으로 잘리고, 창에 든 부분도 가운데가 흐려져 딴소리나 누락이 생깁니다. 같은 자료라도 필요한 조각만 골라 넣으면 창에 딱 맞아 온전히 읽히고 정확한 답이 돌아옵니다. AI 성능을 바꾼 게 아니라, 통째로 던질지 조각을 골라 줄지를 사람이 정한 것입니다. AI의 창은 크기가 정해져 있습니다 — 무엇을 넣느냐가 갈립니다 ① 무엇을 넣나 ② AI의 창 · 크기 고정 ③ 돌아온 답 통째로 던지기 두꺼운 자료 (여러 장) 앞부분 가운데 흐릿 뒷부분 → 창 밖 · 잘림 · 앞·뒤가 잘려 빠짐 · 남은 것도 흐릿 → 딴소리·요약 누락 흐린 답 조각으로 골라 주기 필요한 부분만 필요한 한 부분 딱 맞게 들어감 · 통째로 온전히 읽음 · 흐려질 것이 없음 → 정확하게 답함 또렷한 답 AI 성능을 바꾼 게 아닙니다. 창의 크기는 그대로예요. 통째로 던질지, 필요한 조각을 골라 줄지 — 사람이 정합니다. 큰 자료일수록 통째로 보지 말고 찾아 좁혀 주는 것, 그게 같은 AI로 흐린 답과 또렷한 답을 가릅니다.
AI의 창은 크기가 정해져 있습니다. 통째로 밀어넣으면 뒤가 잘리고 가운데가 흐려져요. 필요한 조각만 골라 넣으면, 같은 AI가 또렷하게 답합니다.

3. 그래서 잘 쓰는 사람은, 통째로 던지지 않고 골라 줍니다

해법은 의외로 단순합니다. 통째로 주지 않는 거예요. 자료 전체를 붙여넣는 대신, 지금 이 일에 필요한 부분만 먼저 찾아서 그 조각을 줍니다. 회의록 전체가 아니라 결정 사항이 적힌 대목만, 보고서 60장이 아니라 관련된 3장만. 큰 자료일수록 통째로 보려 하지 말고, 검색하고 발췌해서 좁혀 주는 겁니다.

이건 예전에 AI에게 일을 시키려면 먼저 일을 정의해야 한다고 한 것과 같은 자리예요. 무엇이 필요한지 내가 먼저 정해야, 무엇을 골라 넣을지도 정해집니다. 필요한 조각을 고른다는 건 결국 이 일이 무엇을 요구하는지 내가 쥐고 있다는 뜻이니까요.

그리고 얼마 전 업종으로 물으면 일반론, 기업명으로 물어야 사례라고 쓴 것과도 짝을 이룹니다. 그 글이 AI에게 던지는 질문을 좁히는 이야기였다면, 이 글은 AI에게 주는 재료를 좁히는 이야기예요. 좁히는 대상은 다르지만 원리는 하나입니다 — 넓게 다 던지면 흐려지고, 좁혀 골라 주면 또렷해집니다.

4. 갈리는 건 AI 성능이 아니라, 무엇을 골라 넣느냐입니다

정리하면 이렇습니다. AI에게 긴 문서를 맡겼는데 답이 엉성하다면, 대개 AI가 부족해서가 아니라 창보다 큰 걸 통째로 밀어넣어서입니다. 같은 AI라도 필요한 조각만 골라 주면 답이 또렷해져요. 바뀐 건 AI의 성능이 아니라, 무엇을 창에 넣을지 고른 사람의 손입니다.

그래서 긴 자료를 AI로 잘 다루는 사람은 더 좋은 모델을 쓰는 사람이 아니에요. 통째로 던지고 싶은 유혹을 참고, 필요한 부분을 먼저 찾아 좁혀 주는 사람입니다. “왜 이렇게 성의 없게 요약하지?” 하고 덮는 대신, “아, 통째로 줬구나” 하고 조각으로 나눠 다시 주는 사람이죠.

이건 특별한 기능이나 프롬프트 기술이 아니라 일하는 방식의 문제입니다. 두꺼운 자료를 통째로 안길지, 필요한 조각을 골라 건넬지 — AI가 정하는 게 아니라, 자료를 쥔 사람이 정합니다.

본문의 상황은 교육 현장에서 흔히 나오는 질문을 일반화한 것이며, 특정 개인·기업을 가리키지 않습니다. 해석과 현장 관점은 박상훈의 견해입니다.