AI는 기억하지 않습니다

이 시리즈에서 저는 계속 ‘건네는 것’의 이야기를 해왔습니다. 문제를 정의해서 건네라, 맥락을 담아 건네라, 명확하게 건네라. 그런데 한 가지 짚지 않은 게 있습니다. 그 모든 것을 건네는 공간 자체에 물리적인 한계가 있다는 것.

오늘은 그 공간 이야기입니다.

”아까 말했잖아요”

교육 현장에서 가장 자주 듣는 불만이 있습니다.

“아까 분명히 말했는데 왜 까먹었죠?” “처음에는 잘 따라오다가 갑자기 엉뚱한 소리를 해요.” “문서를 통째로 줬는데 거기 있는 내용을 모르더라고요.”

이 불만들에는 공통된 전제가 있습니다. AI가 기억한다는 전제. 동료에게 말하면 기억하듯이, AI에게도 한번 말하면 그걸 알고 있을 거라는 생각.

그런데 AI는 기억하지 않습니다.

매번 처음부터 다시 읽습니다

AI에게는 뇌가 없습니다. 있는 것은 ‘창’ 하나입니다. 컨텍스트 윈도우(context window)라고 부릅니다.

여러분이 메시지를 보낼 때마다, AI는 이 창 안에 담긴 전체 대화를 — 첫 번째 메시지부터 방금 보낸 메시지까지 — 처음부터 끝까지 다시 읽습니다. 그리고 답합니다.

기억해서 답하는 게 아닙니다. 매번 시험지를 처음부터 다시 읽고 답하는 겁니다.

그리고 이 창에는 크기가 있습니다. 무한하지 않습니다.

대화가 짧을 때는 문제가 없습니다. 하지만 대화가 길어지면, 초반에 나눈 이야기가 창 밖으로 밀려납니다. AI가 까먹은 게 아닙니다. 더 이상 볼 수 없는 겁니다. 시험지에서 앞 페이지가 잘려나간 것과 같습니다.

넣었다고 다 읽은 건 아닙니다

회의록 30페이지를 AI에게 붙여넣고 “3페이지에 나온 예산이 얼마야?”라고 물었는데 엉뚱한 답이 돌아올 때가 있습니다. 보고서를 통째로 넣고 “핵심 요약해줘”라고 했는데 앞부분만 짚어줄 때도 있습니다.

넣었다고 다 읽은 건 아닙니다. 컨텍스트 윈도우 안에 들어갔더라도, AI가 모든 부분에 같은 주의를 기울이지는 않습니다. 사람이 두꺼운 서류를 넘길 때 처음과 끝은 기억하고 중간은 흐릿해지듯, AI도 비슷한 경향이 있습니다.

대화가 길어지면 답이 이상해지는 이유

스무 번째 메시지쯤 되면, AI의 답변이 처음과 달라진 걸 느끼신 적 있을 겁니다. 앞에서 합의한 방향을 놓치거나, 같은 말을 반복하거나, 맥락 없이 뜬금없는 답을 하거나.

이유는 단순합니다. 창이 가득 찬 겁니다. 스무 개의 질문과 스무 개의 답변이 쌓이면, 그 양이 창의 상당 부분을 차지합니다. 초반 대화는 밀려나거나 묻히고, AI는 최근 몇 턴만으로 답하게 됩니다.

AI가 멍청해진 게 아닙니다. AI가 볼 수 있는 세상이 좁아진 겁니다.

이걸 알면 달라지는 것

컨텍스트 윈도우를 이해하면, AI를 대하는 자세가 바뀝니다.

까먹었다고 답답해하는 대신, 왜 못 보는지를 이해하게 됩니다. 대화를 무한정 이어가는 대신, 언제 새로 시작해야 하는지가 감각적으로 따라옵니다. 문서를 통째로 던지는 대신, 무엇을 골라서 건네야 하는지를 생각하게 됩니다.

이전 글에서 저는 “프롬프트의 본질은 명확하게 생각하고 명확하게 말하는 능력”이라고 했습니다. 오늘 하나를 덧붙입니다. 명확하게 말하는 것만큼, 그 말이 놓이는 공간의 한계를 아는 것도 중요합니다. 무한한 기억력을 가진 동료가 아니라, 정해진 크기의 창을 매번 다시 읽는 독자 — AI를 그렇게 바라보는 순간, 쓸데없는 실망이 줄고 활용의 현실감이 생깁니다.