6개월 전에 쓴 지시가, 오늘 AI를 방해합니다

들어가며 — 오늘 오후에 해볼 수 있는 일

AI를 좀 써 오신 분이라면 어딘가에 지시문을 하나쯤 갖고 계실 겁니다.

커스텀 GPT의 지침 칸일 수도 있고, 프로젝트 설정에 적어 둔 안내문일 수도 있고, 메모장에 저장해 두고 매번 복사해 붙이는 프롬프트 묶음일 수도 있습니다. 팀에서 같이 쓰는 공용 프롬프트 문서를 만들어 두신 분도 있을 겁니다.

오늘 오후에 그걸 한번 열어 보시면 좋겠습니다. 그리고 줄마다 이렇게 물어보시면 됩니다.

이 줄을, 내가 왜 썼더라.

대개 절반쯤은 답이 바로 나오지 않습니다. 그리고 기억을 더듬어 답이 나오는 줄들은 이런 모양입니다.

“표로 정리하지 마” — 뭘 물어도 자꾸 표로 답해서 짜증이 났던 시기가 있었습니다
“반드시 단계별로 생각해” — 한 번에 결론부터 내놓고 근거가 부실하던 때가 있었습니다
“영어로 답하지 마” — 갑자기 영어로 답이 튀어나오던 때가 있었습니다
“출처를 지어내지 마” — 없는 논문 제목을 그럴듯하게 만들어 내던 때가 있었습니다

이 줄들의 공통점이 하나 있습니다. 전부 그때 그 모델이 하던 짓을 막으려고 쓴 문장입니다.

그리고 그 모델은 이제 없습니다.

1. 낡은 지시는 잠들지 않습니다

여기서 흔한 오해가 하나 있습니다. 필요 없어진 줄이면 그냥 있으나 마나 아닌가.

그렇지 않습니다. AI는 그 줄을 읽고 있습니다. 지금도.

이유는 AI가 기억하지 않기 때문입니다. AI는 어제 나눈 대화를 기억해 두고 오늘 이어가는 방식으로 작동하지 않습니다. 요청이 들어올 때마다 주어진 맥락 전체를 처음부터 다시 읽습니다. 지시문도 그 맥락의 일부입니다.

그러니까 반년 전에 홧김에 적어 둔 “표로 정리하지 마”라는 한 줄은, 오늘 아침 요청에서도 어제와 똑같은 무게로 다시 읽힙니다. 한 번 쓰이고 사라지는 게 아니라 매번 새로 살아납니다.

없는 병에 계속 약을 먹는 셈입니다. 병이 나은 줄 모르니까요.

문제는 그 약이 무해하지 않다는 겁니다. “표로 정리하지 마”는 표가 훨씬 나은 자리에서도 표를 못 쓰게 만듭니다. “반드시 단계별로 생각해”는 한 줄이면 끝날 질문에도 다섯 단계짜리 설명을 붙이게 만듭니다. 지시는 지시니까요. AI는 그 줄이 언제 왜 쓰였는지 모릅니다. 오늘 쓰인 줄로 읽습니다.

2. 지시는 쌓이기만 하고, 걷어내지지 않습니다

왜 이렇게 될까요. 우리가 지시문을 다루는 방식을 보면 답이 나옵니다.

결과가 마음에 안 들면 한 줄을 붙입니다. 결과가 마음에 들면 손을 안 댑니다.

어느 쪽이든 줄은 늘기만 합니다. 줄어드는 경로가 아예 없습니다.

게다가 지시문을 손보는 순간은 대개 급한 순간입니다. 지금 결과가 이상하니까 고치는 거지, 한가할 때 앉아서 정비하는 사람은 거의 없습니다. 급할 때 하는 일은 붙이는 일이지 걷어내는 일이 아닙니다.

그렇게 반년이 지나면 지시문은 한 편의 지층이 됩니다. 내가 겪은 실패의 지층입니다. 어느 시기에 무엇 때문에 고생했는지가 순서대로 쌓여 있습니다. 그리고 그중 상당수는 이미 존재하지 않는 세상의 기록입니다.

여기서 한 가지 짚어야 할 게 있습니다. 이 글은 지시문을 만드는 일 자체를 말리는 글이 아닙니다. 오히려 반대입니다.

매번 설명하던 맥락과 규칙을 한 번 글로 정리해 밖에 붙여 두는 일은 해 두면 남는 자산입니다. 그게 없으면 남의 화면에서만 되는 한 줄 프롬프트를 계속 부러워하게 됩니다.

다만 자산에는 관리라는 게 따라붙습니다. 만들어 두기만 하고 손대지 않는 자산은 시간이 지나면 부채로 바뀝니다. 이 글은 만들지 말라는 이야기가 아니라, 만든 다음 이야기입니다.

3. 도구를 만드는 쪽에서 나온 소식

최근에 이 문제를 정면으로 다룬 자료가 하나 나왔습니다.

앤트로픽이 자사 개발 도구인 클로드 코드의 시스템 프롬프트를 80퍼센트 넘게 덜어냈다고 밝혔습니다. 최신 모델을 대상으로 했고, 코딩 평가에서 측정 가능한 손실이 없었다고 적었습니다. 벤더가 자기 제품을 자기 기준으로 잰 숫자니 그대로 성적표로 받을 건 아니지만, 방향은 분명합니다.

흥미로운 건 숫자가 아니라 무엇을 지웠는가입니다. 문서에 예시가 있습니다.

지운 문장은 이런 모양이었습니다.

주석은 기본적으로 쓰지 마라. 여러 문단짜리 독스트링은 절대 쓰지 마라.

그 자리에 넣은 문장은 이렇습니다.

주변 코드처럼 써라. 주석 밀도와 이름과 관용을 맞춰라.

앞 문장은 정답을 못 박은 규칙입니다. 왜 저렇게 썼을까요. 예전 모델이 시키지도 않은 긴 주석을 잔뜩 달았기 때문입니다. 그건 모델의 버릇을 교정하려고 쓴 문장이었습니다.

모델이 알아서 적당히 하게 되자, 그 문장은 도움이 아니라 방해가 됐습니다. 주석이 꼭 필요한 자리에서도 못 쓰게 막으니까요.

이 소식이 인터넷을 돌면서 헤드라인은 대체로 한 문장으로 압축됐습니다. 지워라. 여러분의 지시문도 반년마다 통째로 지우고 다시 시작하라는 조언으로요.

그런데 원문을 열어 보면 그런 말을 하지 않습니다. 오히려 정반대 쪽에 목록이 하나 더 있습니다. 무엇을 남겨야 하는지에 대한 목록입니다.

그 프로젝트에만 있는 함정
그 팀과 제품 고유의 관점과 관행
중요한 영역의 제약 조건

지시문을 지우라고 한 게 아니라 가볍게 유지하되 뻔하지 않은 맥락에 집중하라고 적혀 있습니다. 헤드라인이 지운 건 지시문이 아니라 이 단서 조항이었습니다.

4. 같은 문서 안에 두 종류가 섞여 있습니다

여기가 이 글의 핵심입니다.

지시문의 줄들은 하나로 안 묶입니다. 성질이 완전히 다른 두 종류가 같은 문서에 나란히 적혀 있습니다.

첫째, 교정용 줄입니다. 그때 그 모델이 하던 짓을 막으려고 쓴 문장입니다. 표로 답하지 마라, 단계별로 생각해라, 출처를 지어내지 마라.

이 줄들은 모델의 부족한 부분을 메우려고 존재합니다. 그러니까 그 부족함이 사라지면 같이 사라져야 합니다. 유통기한이 있습니다.

둘째, 맥락 줄입니다. 우리 조직에서만 통하는 사실을 알려 주는 문장입니다. 고객은 고객사로 적는다, 숫자는 원문 표에서만 가져온다, 미확정 일정은 문서에 쓰지 않는다.

이 줄들은 모델이 부족해서 쓴 게 아닙니다. 모델이 아무리 똑똑해져도 알아낼 방법이 없어서 쓴 겁니다. 우리 회사 회의록에만 있는 정보니까요. 유통기한이 없습니다.

지시문에는 유통기한이 있는 줄과 없는 줄이 섞여 있습니다. 어느 쪽인지는 문서에 안 적혀 있습니다.

이 구분이 왜 중요하냐면, 회사에서 쓰는 지시문은 대개 두 번째 쪽이기 때문입니다.

도구를 만드는 사람의 지시문에는 첫 번째 종류가 압도적으로 많습니다. 그들이 상대하는 건 모델의 행동 자체니까요. 그래서 그쪽에서는 통째로 지워 보는 실험이 합리적입니다. 지워도 대부분 안 돌아옵니다.

그런데 기업 현장에서 지시문에 들어가는 건 다릅니다. 용어 표기 규칙, 쓰면 안 되는 표현, 결재 관행, 고객사 호칭, 숫자를 어디서 가져와야 하는지. 이건 모델 성능과 아무 관계가 없습니다. 모델이 열 배 똑똑해져도 우리 회사 규칙을 알아맞힐 수는 없습니다.

같은 조언이 어떤 자리에서는 정확하고 어떤 자리에서는 위험합니다. 조언이 틀린 게 아니라, 그 조언이 서 있던 자리가 우리 자리와 다른 겁니다.

5. 지우지 말고, 라벨을 붙이십시오

그러면 어떻게 해야 할까요.

“다 지우고 다시 시작하라”는 실행하기 어렵습니다. 지우는 순간 어느 줄이 두 번째 종류였는지 확인할 방법이 없어지니까요. 반대로 “그대로 두라”도 답이 아닙니다. 그게 지금 상태고, 지금 상태가 문제니까요.

현실적인 처방은 셋째입니다. 줄을 쓸 때 이유를 같이 적는 겁니다.

새로 한 줄을 추가할 때 뒤에 짧게 붙입니다.

표로 정리하지 마 (자꾸 표로 답해서 — 2026-01)

고객은 ‘고객사’로 적는다 (사내 표기 규정)

괄호 하나 붙이는 데 3초면 됩니다. 그런데 이 3초가 반년 뒤에 판단을 가능하게 만듭니다.

앞쪽 괄호가 붙은 줄은 모델이 바뀔 때 한 번 지워 보는 후보입니다. 지우고 며칠 써 보다가 그 버릇이 다시 나오면 되돌리면 됩니다. 되돌리는 비용이 거의 0이니 실험이 부담스럽지 않습니다.

뒤쪽 괄호가 붙은 줄은 건드리지 않습니다. 모델이 바뀌었다는 사실과 아무 상관이 없는 줄이니까요.

라벨 없이 반년을 쌓으면 나중에는 구분할 방법이 없습니다. 왜 썼는지 기억이 안 나는 줄은 대개 무서워서 못 지웁니다. 그렇게 통째로 남게 되고, 통째로 남은 지시문은 시간이 갈수록 무거워집니다. 라벨은 나중의 나에게 지울 권한을 넘겨주는 일입니다.

그리고 이건 새 모델이 나올 때만 하는 일이 아닙니다. 계절이 바뀔 때 옷장을 정리하듯, 반년에 한 번 지시문을 열어 첫 번째 종류만 훑어보는 것으로 충분합니다. 오래 걸리는 일이 아닙니다. 라벨만 있으면요.

6. 진짜 교훈은 “줄여라”가 아니었습니다

마지막으로 하나 더 짚고 싶은 게 있습니다.

아까 그 두 문장을 다시 보겠습니다.

(전) 주석은 기본적으로 쓰지 마라. 여러 문단짜리 독스트링은 절대 쓰지 마라.

(후) 주변 코드처럼 써라. 주석 밀도와 이름과 관용을 맞춰라.

보통 이 변화를 “길게 쓰던 걸 짧게 썼다”로 읽습니다. 그런데 두 문장을 나란히 놓으면 길이는 거의 같습니다.

달라진 건 길이가 아니라 종류입니다. 앞은 정답을 못 박았고, 뒤는 판단의 기준을 줬습니다.

그리고 뒤가 더 어렵습니다. “주석 쓰지 마”는 아무나 쓸 수 있지만, “주변 코드처럼 써라”를 쓰려면 무엇을 기준으로 삼아야 하는지를 내가 알고 있어야 합니다. 남의 코드를 읽어 본 사람만 쓸 수 있는 문장입니다.

그러니까 이 이야기의 결론은 “덜 쓰라”가 아닙니다.

정답 대신 기준을 쓰라는 겁니다.

정답을 못 박으면 AI는 그 자리에서 멈춥니다. 시킨 것만 하고, 시킨 것이 틀린 자리에서도 시킨 대로 합니다. 기준을 주면 AI가 판단할 자리가 생깁니다. 그 대신 기준을 아는 건 사람 몫으로 남습니다.

이 지점은 전에 말하지 않은 기준은 AI가 대신 정한다는 이야기를 했을 때와 같은 자리입니다. 그때는 기준을 안 줘서 AI가 대신 채우는 문제였고, 여기서는 기준 대신 정답을 줘서 AI가 판단을 멈추는 문제입니다. 방향은 반대인데 요구하는 능력은 같습니다. 내 일의 기준을 말로 꺼낼 수 있는가.

꼼수 문구를 외우는 시대는 지났지만 본질은 더 귀해졌다는 이야기가 여기서도 그대로 성립합니다. 지시문에서 사라지는 건 요령이고, 남는 건 기준입니다.

마무리 — 가장 오래된 줄

정리하면 이렇습니다.

지시문에는 유통기한이 있는 줄과 없는 줄이 섞여 있습니다. 앞의 것은 모델이 좋아지면 방해가 되고, 뒤의 것은 모델이 아무리 좋아져도 필요합니다. 그런데 문서를 열어 봐도 어느 줄이 어느 쪽인지 안 적혀 있습니다. 그래서 통째로 지우라는 조언도, 그대로 두라는 조언도 둘 다 어긋납니다.

할 일은 두 가지뿐입니다. 앞으로 쓰는 줄에는 이유를 괄호로 남기고, 모델이 바뀌면 첫 번째 종류만 한 번 지워 봅니다.

좋은 프롬프트를 모으는 일에는 다들 열심입니다. 저장하고, 공유하고, 템플릿으로 만듭니다. 그런데 버리는 일을 하는 사람은 거의 못 봤습니다. 자산이 관리 대상이 되는 건 대개 그것이 부채가 된 다음입니다.

그러니 오늘 오후에는 이 질문 하나만 해보시면 좋겠습니다.

내 지시문에서 가장 오래된 줄은 언제 쓴 건가요. 그때 그 문제, 아직도 일어납니까?