AI에게 건넬 수 있는 지식, 건넬 수 없는 지식

지난 글에서 AI에게 일을 시키려면 먼저 ‘일’이 뭔지를 알아야 한다고 적었습니다. 업무를 구조화해서 정의할 수 있어야 AI에게도 좋은 지시를 건넬 수 있다는 이야기였죠. 그런데 한 가지가 더 남아 있습니다. 그 정의, 그 맥락, 그 경험을 어디에 쌓아 둘 것인가.

지식은 있는데 건넬 수가 없습니다

10년 일한 사람의 머릿속에는 엄청난 양의 지식이 쌓여 있습니다. 프로젝트마다 겪은 시행착오, 이 상황에서는 이렇게 판단해야 한다는 감각, 보고서 한 장을 쓸 때도 “이건 이렇게 해야 통과된다”는 암묵적 기준. 그것이 그 사람의 실력이고 경력의 두께입니다.

그런데 AI에게 그 지식을 건네려고 하면, 막막합니다. 대부분은 머릿속에 있습니다. 일부는 슬랙 대화 어딘가에, 일부는 메일함에, 일부는 파워포인트 발표 자료 안에 묻혀 있습니다. AI는 당신의 머릿속을 읽지 못합니다. 슬랙의 3개월 전 대화를 검색하지도, 발표 자료 30장 안에서 핵심 판단을 골라내지도 못합니다.

첫 번째 글에서 AI는 증폭기라고 했습니다. 증폭기에 신호를 넣으려면, 그 신호가 건넬 수 있는 형태로 어딘가에 있어야 합니다. 머릿속에만 있는 지식은 AI 시대에도 결국 그 사람이 자리를 비우면 함께 사라지는, 휘발하는 자산입니다.

클라우드에 올려두면 되지 않나요

“노션이나 구글 독스에 정리해 두면 되지 않나요?” 개인 프로젝트라면 그럴 수 있습니다. 하지만 기업 환경에서는 이야기가 달라집니다.

웹 기반 도구는 아키텍처상 데이터가 반드시 외부 서버를 경유합니다. 문서를 작성하는 순간 그 내용은 해당 서비스의 클라우드 서버에 저장됩니다. SOC 2 인증을 받았든, ISO 27001을 통과했든, 데이터가 회사 밖으로 나간다는 구조적 사실은 변하지 않습니다. 인증은 “안전하게 관리하겠다”는 약속이지, “데이터가 밖으로 나가지 않는다”는 보장이 아닙니다.

한국 대기업 보안팀에게 중요한 1차 기준은 인증 마크가 아니라, “우리 데이터가 외부 서버를 거치느냐 아니냐”입니다. 2023년 국내 한 대기업에서 엔지니어들이 소스코드를 AI 챗봇에 입력해 기밀이 유출된 사건 이후, 이 기준은 더 엄격해졌습니다. 금융, 제조, 방산 같은 산업에서는 웹 기반 도구 자체가 사내망에서 차단되는 경우가 흔합니다.

교육 현장에서도 자주 마주치는 풍경입니다. 학습자가 클라우드 도구를 열려 하면 사내 보안 정책에 막히는 겁니다. 결국 좋은 도구라도 기업 안에서 쓸 수 없으면 의미가 없습니다. 세 번째 글에서 “가장 좋은 AI는 내일 아침 바로 켤 수 있는 도구”라고 했던 것과 같은 논리입니다.

RAG라는 우회로 — 개인에겐 맞지 않습니다

“그러면 문서를 AI가 검색할 수 있게 벡터로 바꿔 두면 되지 않나요?” 기술적으로 이걸 RAG(검색 증강 생성)라고 부릅니다. 요즘 AI 업계에서 가장 많이 이야기되는 방식이기도 합니다.

원리를 비유하면 이렇습니다. 책을 한 페이지씩 찢어서 서랍에 넣고, 질문할 때마다 “이 질문과 비슷한 조각”을 꺼내 AI에게 건네는 겁니다. 수백만 건의 기업 데이터를 여러 사람이 동시에 검색해야 하는 환경에서는 이 방식이 유효합니다. 그런데 개인 지식관리에 이걸 쓰려고 하면 문제가 세 가지 생깁니다.

첫째, 찢는 과정에서 맥락이 사라집니다. 하나의 판단에는 앞뒤 맥락이 있습니다. “이 프로젝트에서 이 방식을 썼는데, 그 이유는 보안 정책 때문이었다” — 이런 연결이 청킹(문서를 잘게 쪼개는 과정)에서 끊어집니다. 조각은 남지만 이유는 사라지는 겁니다. DeepMind의 최근 연구도 임베딩 기반 검색이 이론적으로 포착할 수 없는 정보 유형이 존재한다는 것을 증명했습니다.

둘째, “비슷한 조각”은 찾지만 “왜 그렇게 판단했는가”는 잡지 못합니다. 벡터 유사도는 단어의 의미적 거리를 잴 뿐, 개인의 우선순위나 판단 기준을 포착하지 못합니다. 경험에서 우러난 지식은 비슷한 문장이 아니라, 그때 왜 그랬는지에 있습니다.

셋째, 개인 규모에서는 인프라가 과합니다. 벡터 데이터베이스를 운영하고, 임베딩 모델을 관리하고, 문서가 바뀔 때마다 재처리해야 합니다. 수십에서 수백 건의 개인 지식에 이 파이프라인은 과도합니다. 실제로 마크다운 직접 읽기와 RAG를 비교한 분석에서, 소규모 지식 베이스에서 토큰 사용량이 최대 95% 줄어들었다는 결과도 있습니다.

정리하면, RAG는 대규모 조직 데이터에 맞는 도구이지 개인 지식관리의 답은 아닙니다.

마크다운, 로컬, 연결 — 옵시디언이 맞는 이유

RAG의 반대 접근이 있습니다. 문서를 쪼개고 벡터로 바꾸는 대신, 마크다운 파일을 그대로 LLM에게 건네는 것입니다. 올해 4월 Andrej Karpathy(전 Tesla AI 디렉터, OpenAI 창립 멤버)가 이 방식을 공개했을 때 1,700만 뷰를 기록하며 큰 반향을 일으켰습니다. 핵심은 단순합니다. 작은 규모의 지식이라면, 쪼개지 말고 통째로 읽히는 편이 맥락을 훨씬 잘 보존합니다.

옵시디언은 이 접근에 정확히 맞는 도구입니다.

마크다운은 AI 네이티브 포맷입니다. 주요 LLM은 마크다운 텍스트로 학습되었습니다. 옵시디언의 모든 노트는 .md 파일, 즉 AI가 변환이나 파싱 없이 네이티브로 읽을 수 있는 형식입니다. 파워포인트 안에 묻힌 텍스트나, 독점 데이터베이스에 갇힌 지식과는 근본적으로 다릅니다.

데이터가 로컬에만 있습니다. 옵시디언은 모든 파일을 사용자의 컴퓨터에 저장합니다. 계정도, 인터넷 연결도 필요 없습니다. 인터넷이 차단된 에어갭 환경에서도 작동합니다. 보안 심사 자체가 단순해집니다 — 데이터가 밖으로 나가지 않으니, “어디로 나가느냐”를 따질 필요가 없습니다. 웹 기반 도구가 아무리 인증을 쌓아도 넘지 못하는 구조적 벽을, 옵시디언은 아키텍처 자체로 해결합니다.

벤더에 종속되지 않습니다. 옵시디언이 내일 사라져도 파일은 그대로 남습니다. 어떤 텍스트 편집기에서든 열 수 있고, 어떤 AI 도구와도 연결할 수 있습니다. 도구가 바뀌어도 지식은 살아남습니다. 특정 서비스에 수천 페이지를 쌓아 뒀다가 이관해야 할 때의 고통을 경험해 보신 분이라면, 이 차이가 얼마나 큰지 아실 겁니다.

지식이 연결됩니다. 옵시디언의 위키링크와 그래프 뷰는 노트 사이의 관계를 시각화합니다. 고립된 메모가 아니라, 경험과 판단이 연결된 그래프입니다. AI에게 한 문서만 건네는 것과, 연결된 문서 여러 개를 함께 건네는 것은 결과의 깊이가 다릅니다.

덧붙이면, 2025년 2월부터 옵시디언은 상업 용도도 완전 무료가 되었습니다. 기업 도입의 비용 장벽까지 사라진 셈입니다.

이 구조의 진짜 가치는 시간이 지날수록 드러납니다. 새로운 경험을 쌓을 때마다 기존 지식과 연결되며, 단독으로는 보이지 않던 패턴이 보이기 시작합니다. 첫 번째 글에서 증폭기에 넣을 정의가 비어 있으면 결과도 빈다고 했습니다. 옵시디언에 마크다운으로 쌓인 지식은 그 정의가 복리로 모이는 곳입니다.

AI 도구보다 먼저, 지식의 인프라를

세 번째 글에서 “가장 좋은 AI는 성능표 맨 위에 있는 도구가 아니라, 내일 아침 바로 켤 수 있는 도구”라고 적었습니다. 같은 논리가 지식 관리에도 적용됩니다. 가장 좋은 지식 관리는 기능이 화려한 앱이 아니라, AI에게 바로 건넬 수 있는 형태로 쌓는 것입니다.

어떤 AI를 쓸지 고르기 전에, 자기 지식이 AI가 읽을 수 있는 곳에 있는지를 먼저 점검해 보시길 권합니다. 머릿속에만 있는 지식은 아무리 깊어도 AI에게 건넬 수 없습니다. 클라우드에만 있는 지식은 기업 환경에서 벽에 부딪힙니다. 잘게 쪼개 벡터로 변환한 지식은 맥락을 잃어버립니다.

마크다운 파일로, 로컬에, 연결하며 쌓으십시오. 그것이 AI 시대에 자기 지식을 지키면서도 활용할 수 있는, 가장 현실적인 방법입니다.