오픈 모델이 우리 담장 안으로 들어왔습니다 — 보안은 그래서 끝났을까요?

들어가며 — 이제 강력한 AI를 회사 안에 둘 수 있습니다

또 하나의 오픈 모델이 최상위 근처를 찍었다는 소식이 들립니다. 이름은 계속 바뀌어요. 딥시크였다가, 큐원이었다가, 이번엔 Kimi 같은 모델이죠. 공통점은 하나입니다. 가중치를 받아서 내 손으로 돌릴 수 있는 오픈 모델이, 이제 최상위 폐쇄 모델과 어깨를 나란히 하는 수준까지 왔다는 거예요.

성능이 어디까지 왔는지는 예전에 한 번 정리한 적이 있습니다. 결론은 “당신 일에 쓰기엔 이미 충분한 데까지”였죠. 오늘 하려는 이야기는 그다음입니다. 성능이 충분해지자, 조직에 전에 없던 선택지가 하나 열렸거든요.

바로 이겁니다. 강력한 AI를 이제 빌리는 게 아니라 담장 안에 둘 수 있게 됐다는 것. 예전엔 좋은 AI를 쓰려면 회사 데이터를 클라우드로 올려보내야 했습니다. 그런데 오픈 모델은 가중치를 받아 회사 서버 안에 깔 수 있어요. 데이터를 밖으로 내보내지 않고 강력한 AI를 쓴다 — 보안 때문에 AI를 못 들이던 조직에게 이건 정말 솔깃한 이야기입니다.

그래서 많은 곳에서 같은 결론에 도착합니다. “모델을 우리 서버 안에 두면, 보안 문제는 해결된 거 아닌가?”

절반은 맞습니다. 그리고 절반은, 가장 중요한 절반은, 아직 시작도 안 했어요.

---

1. ‘담장 안’과 ‘안 샌다’는 다른 문제입니다

보안을 “모델이 어디 있느냐”의 문제로 보면, 담장 안에 모델을 들인 순간 끝난 것처럼 보입니다. 그런데 데이터가 새는 건 모델의 위치 때문이 아니라 데이터의 경로 때문이에요. 그리고 그 경로는 모델을 담장 안에 둔다고 사라지지 않습니다.

생각해 보면 이렇습니다. 담장 안 모델에게 일을 시키려면 뭔가를 넣어야 하죠.

• 프롬프트에 회사 자료를 복사해 붙여 넣습니다.
• 문서를 검색해 물려주는 방식(RAG)이라면, 민감한 사내 문서가 그 파이프를 타고 모델로 들어갑니다.
• 모델을 우리 업무에 맞게 손보려고 파인튜닝을 하면, 학습 데이터에 회사 알맹이가 그대로 담깁니다.
• 그리고 요즘 모델은 혼자 답만 하지 않아요. 외부 도구를 부르고, API를 호출하고, 메일을 보냅니다. 그 순간 데이터는 다시 담장 밖으로 나갑니다.

모델은 담장 안에 얌전히 있는데, 데이터는 이 경로들을 타고 담장을 계속 넘나듭니다. 로그에 프롬프트가 통째로 쌓이고, 파인튜닝 데이터가 관리 안 된 채 굴러다니고, 모델이 부른 외부 도구가 그 데이터를 어디로 보내는지 아무도 안 봅니다. 모델의 위치만 지키고 데이터의 경로를 안 지키면, “담장 안이라 안전하다”는 건 착각이에요.

핵심은 이겁니다. 보안은 모델이 어디 있느냐가 아니라, 데이터가 어디로 흐르느냐에서 갈립니다. 오픈 모델은 그 흐름의 한 조각(모델 자체)을 담장 안으로 넣어줄 뿐, 나머지 경로까지 막아주지는 않아요.

---

2. 통제권을 가져오면, 운영 책임도 따라옵니다

절반의 두 번째 조각은 비용이 아니라 부담입니다.

“오픈 모델은 공짜”라는 말은 라이선스 이야기일 뿐이에요. 받아서 실제로 돌리려면 누군가는 그걸 얹을 서버(대개 값비싼 GPU)를 마련하고, 계속 돌아가게 관리하고, 보안 패치를 따라가고, 이상이 없는지 지켜봐야 합니다. 모델을 손에 쥔다는 건 이 운영 부담까지 손에 쥔다는 뜻이에요.

빌려 쓰는 폐쇄 API는 이 부담을 벤더가 집니다. 서버도 벤더가 굴리고, 보안 패치도 벤더가 하고, 문제가 나면 벤더 책임이죠. 오픈 모델을 담장 안에 들이는 순간, 그 일이 전부 우리 몫으로 넘어옵니다. 이건 쉬워 보이는 도구가 아니라 끝까지 쓸 수 있는 도구가 이긴다고 했던 자리의 오픈 모델 버전이에요. 받는 건 쉽지만, 끝까지 굴리는 건 전혀 다른 일입니다.

한 가지 덧붙이면, “오픈”이라는 단어도 보이는 것만큼 활짝 열려 있지는 않아요. 가중치를 공개한 것(오픈웨이트)과 마음대로 써도 되는 것(오픈소스)은 다릅니다. 라이선스마다 상업적 사용이나 재배포 조건이 달라요. 게다가 가중치를 받아 접근을 확보했다고 해서 그 안에 무엇이 학습돼 있는지까지 아는 건 아닙니다. 이번에 화제가 된 모델들 상당수가 해외 랩에서 나온 걸 떠올리면, 접근은 내 손에 있어도 훈련의 신뢰는 별개라는 점은 따로 따져야 합니다.

---

3. 그래서 경계는 모델이 아니라 ‘일’마다 긋습니다

여기까지 오면 오해하기 쉽습니다. “그럼 오픈 모델도 위험하니 결국 아무것도 못 쓰는 거냐.” 아니에요. 정반대입니다. 지금까지의 이야기는 오픈 모델을 제대로 쓰는 법, 그 사용 설명서예요.

핵심은 질문을 바꾸는 겁니다. “오픈이냐 폐쇄냐”, “Kimi가 GPT를 이겼냐”가 아니라, ‘이 일의 데이터가 어디까지 나가도 되나’를 먼저 묻는 거예요. 그 답에 따라 도구가 정해집니다. 일을 세 칸으로 나눠 보면 간단해져요.

• 공개돼도 상관없는 일(외부 자료 요약, 일반 지식 질문): 그냥 편한 클라우드 폐쇄 모델을 쓰면 됩니다. 굳이 담장 안에 둘 이유가 없어요.
• 회사 밖으로 나가면 안 되는 일(사내 문서, 고객 데이터): 여기가 담장 안 오픈 모델, 또는 회사가 승인한 엔터프라이즈 계약이 필요한 칸입니다. 운영 부담을 감당할 각오와 함께요.
• 절대 어디에도 넣으면 안 되는 일(극비 정보): 이건 애초에 AI에 안 넣는 게 답입니다. 어떤 모델이든요.

여기서 오픈 모델이 준 진짜 선물이 보입니다. 예전엔 가운데 칸 — 회사 밖으로 못 내보내는 민감한 일 — 이 그냥 “AI 금지” 구역이었어요. 좋은 AI는 다 클라우드에 있었으니까요. 그런데 강력한 오픈 모델을 담장 안에 둘 수 있게 되면서, 그 칸이 “금지”에서 “가능”으로 바뀌었습니다. 선물은 성능 그 자체가 아니라, 경계를 내가 선택할 수 있게 됐다는 것이에요. 전엔 클라우드 API밖에 없어서 경계가 강제됐다면, 이제는 일마다 어디에 둘지 고를 수 있습니다.

그러니 오픈 모델을 앞에 두고 물을 것은 “이게 GPT만큼 똑똑한가”가 아닙니다. “이 일을 이 모델에게, 이 경로로 시켜도 데이터가 안전한가”예요. 앞의 질문은 벤치마크가 답하고, 뒤의 질문은 무슨 일을 시킬지 내가 먼저 정의해야 답이 나옵니다.

---

4. 이건 IT 부서만의 결정이 아닙니다

마지막으로 하나. 지금까지 “조직”, “담장”, “서버” 같은 말을 써서 이게 보안팀이나 IT 부서의 이야기처럼 들렸을 수 있어요. 그런데 사실 이 판단은 훨씬 더 가까운 데서, 훨씬 더 자주 일어납니다.

당신이 회사 자료를 복사해 AI 프롬프트 창에 붙여 넣는 그 순간, 당신은 이미 “이 데이터가 여기까지 나가도 되나”라는 보안 판단을 내리고 있는 거예요. 대개는 그걸 판단이라고 인식하지도 못한 채로요. 오픈이냐 폐쇄냐 하는 큰 결정 훨씬 전에, 매일 붙여 넣는 그 한 번 한 번이 경계를 긋는 일입니다.

그래서 이건 좋은 소식입니다. 오픈 모델이 어디까지 왔는지 지켜보는 것보다 훨씬 실용적인 습관 하나가 손에 들어오거든요. 일을 시키기 전에 딱 한 번 묻는 것. “이건 어디까지 나가도 되는 데이터지?” 그 물음 하나가 있으면, 어떤 모델이 새로 나오든 당신은 그걸 어디에 둘지 이미 알고 있습니다.

모델은 거의 다 따라왔습니다. 이제 중요한 건 그 강력함을 어디에 둘지 정하는 눈이에요. 그리고 그 눈은 벤치마크 점수가 아니라, 내 일과 내 데이터를 아는 데서 옵니다.