RAG, MCP, Function Calling을 몰라도 AI는 잘 씁니다

들어가며 — 강의장에서 가장 자주 듣는 불안

기업 교육을 하다 보면, 쉬는 시간에 조용히 다가와 이렇게 묻는 분이 꼭 있습니다.

“강사님, 솔직히 저는 RAG가 뭔지도 모르고, 요즘 다들 말하는 MCP니 Function Calling이니 하는 것도 하나도 모르거든요. 이런 거 모르면, AI를 잘 쓴다고 말하면 안 되는 거죠?”

그리고 강의장 반대편에는 정반대의 사람도 있습니다. RAG와 MCP를 줄줄 설명하고, 최신 용어를 누구보다 빨리 주워 담는데 — 정작 어제와 똑같은 방식으로 일하고 있는 사람. 한 분은 용어를 몰라 불안하고, 한 분은 용어를 알아서 안심합니다.

저는 두 분께 같은 말씀을 드립니다. 그 세 단어는 당신이 외울 말이 아닙니다. 모른다고 불안할 것도, 안다고 안심할 것도 아닙니다. 왜 그런지 풀어보겠습니다.

1. 세 단어가 실제로 뭔지 — 딱 한 줄씩

겁먹을 필요 없게, 먼저 정체부터 밝혀두죠. 어렵게 말해서 그렇지 내용은 단순합니다.

RAG — AI에게 답하기 전에 내 자료부터 읽히고 그걸 근거로 답하게 하는 방식.
MCP — AI를 내가 쓰는 도구(캘린더·파일·사내 시스템)에 연결해 일을 시키게 하는 규격.
Function Calling — AI가 말로만 답하지 않고 직접 기능을 실행하게 하는 장치.

한 줄로 줄이면 다 이해되시죠? 그런데 여기서 진짜 중요한 건 세 단어의 뜻이 아닙니다. 세 단어의 공통점입니다. 셋 다 AI 시스템을 만드는 사람, 즉 엔지니어가 무언가를 설계하고 구축할 때 쓰는 말이라는 점입니다.

차에 비유하면 이렇습니다. RAG·MCP·Function Calling은 엔진룸 안에서 벌어지는 일입니다. 연료가 어떻게 분사되고 점화가 어떻게 일어나는지에 관한 말이죠. 그런데 운전을 잘하는 사람은 그걸 외워서 잘하는 게 아닙니다. 핸들을 어디로 꺾고 언제 멈출지를 아는 사람이 운전을 잘합니다.

2. 용어를 알수록 빠지는 함정

여기에 함정이 있습니다. 용어를 몰라서 못 하는 게 아니라, 용어를 아는 게 곧 실력이라고 믿는 순간 길을 잃습니다.

지난 글에서 도구를 빠짐없이 알려주는 책일수록 정작 일은 안 바뀐다고 했습니다. RAG·MCP·Function Calling 같은 기술 용어는 그 도구 카탈로그의 기술 버전입니다. 기능 이름 50개를 외우는 것과, 약어 10개를 외우는 것 사이에는 본질적인 차이가 없습니다. 둘 다 아는 단어의 개수로 실력을 재는 것이고, 그 자는 애초에 틀린 자입니다.

게다가 이 용어들은 바뀝니다. 작년에 모두가 외우던 프롬프트 ‘비법’은 올해 아무도 말하지 않습니다. MCP라는 말도 몇 년 전엔 없었습니다. 약어를 따라 외우는 일은 끝이 없고, 외운 약어는 다음 해에 다른 약어로 갈립니다. 그렇게 외운 사람은 새 용어가 나올 때마다 다시 처음으로 돌아가 불안해집니다.

반대로, 용어를 몰라 불안해하던 그분께 제가 되묻습니다. “그동안 ChatGPT한테 무슨 일을 시켜보셨어요?” 그러면 보고서 초안을 맡겨봤다, 회의록을 정리시켜봤다, 자료를 요약시켜봤다 — 이미 일을 맡기고 있었던 경험이 줄줄 나옵니다. 그분은 약어를 몰랐을 뿐, 정작 중요한 건 이미 하고 있었던 겁니다.

3. 그럼 무엇을 알아야 하나 — 운전석의 말

기술 용어가 엔진룸의 말이라면, 당신이 잡아야 할 건 운전석의 말입니다.

RAG·MCP·Function Calling은 엔진룸의 말입니다. 당신이 잡을 건 운전석의 말 — 정의하고, 맡기고, 조율하는 일입니다.

운전석의 말은 약어가 아니라 동사입니다. 정의한다, 맡긴다, 조율한다.

정의한다 — 무엇을, 누구를 위해, 무엇이 잘된 것인지를 먼저 정한다. AI가 자율적으로 여러 단계를 실행할수록, 맨 처음 건네는 정의 한 줄이 미치는 범위가 커집니다. 약어를 몰라도 이건 할 수 있고, 약어를 알아도 이걸 못 하면 결과가 안 나옵니다.
맡긴다 — AI를 검색창이 아니라 일을 맡기는 동료로 대한다. RAG가 뭔지 몰라도, “이 자료를 근거로 정리해줘”라고 말할 줄 알면 당신은 이미 RAG를 쓰고 있는 겁니다.
조율한다 — 첫 답을 초안으로 보고, ‘다시’ 버튼이 아니라 무엇이 어긋났는지 짚어 고쳐 맡긴다. 이건 입력 기술이 아니라 안목입니다.

이 셋은 도구가 바뀌어도 그대로 옮겨 탑니다. 모델이 바뀌고 약어가 바뀌어도, 정의하고 맡기고 조율하는 사람은 새 도구 위에서도 곧바로 일합니다. 약어만 외운 사람은 도구가 바뀔 때마다 다시 외워야 하고요.

4. 그래도 RAG·MCP가 필요한 순간은 있습니다

오해를 막기 위해 분명히 해두겠습니다. 이 용어들이 무가치하다는 게 아닙니다. 직접 시스템을 설계하고 구축할 때는 반드시 알아야 합니다. 사내에 AI 챗봇을 직접 만들거나, 여러 도구를 엮어 자동화 파이프라인을 짜는 사람이라면 RAG·MCP·Function Calling은 일상의 언어가 됩니다.

핵심은 자리입니다. 당신이 엔진룸에서 차를 만드는 사람이라면 그 말이 필요하고, 운전석에서 일에 쓰는 사람이라면 필요 없습니다. 대부분의 직장인은 운전석에 앉아 있습니다. 그런데 시중의 콘텐츠는 자꾸 운전자에게 엔진 정비 매뉴얼을 들이밉니다. 불안해할 일이 아니라, 내 자리가 어디인지를 분간하면 됩니다.

5. 그래서, 불안해하지 않으셔도 됩니다

처음의 그분께 제가 드린 답은 이거였습니다. “RAG를 모르는 게 문제가 아닙니다. 물어보셔야 할 건 따로 있어요 — 내 일 중에 무엇을, 어디까지 AI에 맡기고 있나.”

다음에 누군가 새 약어를 꺼내며 “이것도 모르세요?”라고 하면, 한 걸음 물러서서 자문해 보세요. 이건 엔진룸의 말인가, 운전석의 말인가. 엔진룸의 말이라면, 몰라도 당신의 운전은 흔들리지 않습니다.

정작 귀한 건 약어를 몇 개 아느냐가 아닙니다. 덮고 나서 월요일이 달라지는 한 가지 — 당신의 일이 어떻게 바뀌는가입니다. 그리고 그건 RAG를 몰라도, 지금 당장 시작할 수 있습니다.