인사이트 목록

코딩을 못 해도, 크롤링은 할 수 있습니다

  • 일하는방식
  • 바이브코딩
  • 크롤링
  • 비개발자

들어가며 — “코딩 못 하는데 크롤링을 어떻게 하냐”

교육 현장에서 자주 듣는 말이 있습니다. “저는 개발자가 아니라서요.”, “코딩을 못 하는데 크롤링 같은 걸 어떻게 해요.” 데이터를 웹에서 긁어오는 일 앞에서 많은 분이 지레 손을 놓습니다.

그런데 이 말은 전제부터 한 칸 틀렸습니다. 크롤링을 해내는 데 필요한 건 코드를 아는 것이 아닙니다. AI에게 무엇을 시킬지 아는 것이죠. 그리고 그건 개발자만의 능력이 아닙니다.

1. 필요한 건 코드 암기가 아니라, ‘무엇을 시킬지’입니다

코드를 짜는 일은 이제 AI가 합니다. 우리가 할 일은 코드를 외워 두는 게 아니라, 원하는 결과를 AI에게 정확히 시키는 겁니다. 크롤링을 예로 들면 이런 식이에요.

“이 페이지에서 상품 이름이랑 가격을 다 긁어서 엑셀로 만들어 줘.” 이 한 문장에 requests가 어떻고 BeautifulSoup이 어떻고 하는 말은 하나도 없습니다. 그런데도 AI는 그 도구들을 골라 코드를 써 냅니다. 정작 사람이 붙잡고 있어야 할 건 문법이 아니라 무엇을 원하는가예요.

이건 이 블로그에서 RAG, MCP, Function Calling을 몰라도 AI는 잘 쓴다고 했던 것과 같은 이야기입니다. 엔진룸의 용어(약어·문법)는 몰라도, 운전석의 말(무엇을·어떤 순서로·어떻게)만 할 줄 알면 목적지에 갑니다. 크롤링도 딱 그래요.

2. 받아내는 방법은 셋입니다 — 어디를, 무엇을, 막히면

그럼 코드를 어떻게 “받아내느냐”. 특별한 재능이 필요한 게 아니라, 세 가지 동작이면 됩니다.

첫째, “어디를” 짚어 줍니다. 브라우저에서 F12(개발자도구)를 눌러, 내가 원하는 값 — 상품 이름이든 가격이든 — 이 화면의 어느 자리(어떤 태그·클래스)에 들어 있는지 봅니다. 그리고 그 자리를 그대로 AI에게 알려줘요. 사실 크롤링의 십중팔구는 이 “어디”를 정하는 일입니다. 코드가 어려운 게 아니라, 무엇을 어디서 가져올지를 사람이 짚어 줘야 하는 거죠.

둘째, “무엇을” 말로 순서대로 시킵니다. “스크롤을 끝까지 내려서 상품이 다 뜨면 긁어 줘.”, “너무 빨리 하면 차단되니까 사람처럼 천천히 하게 해 줘.”, “결과는 엑셀로 저장해 줘.” 개발 용어 하나 없이, 원하는 동작만 순서대로 말하면 됩니다. 코드는 AI가 씁니다.

셋째, 막히면 그대로 붙여넣습니다. 실행하다 빨간 에러가 뜨면, 그 메시지를 통째로 복사해서 AI에게 붙여넣고 “이 에러 고쳐 줘”라고 합니다. 화면이 이상하게 나오면 그 부분을 캡처해 보여 주고요. 사실 이 되풀이 — 시키고, 돌려 보고, 안 되면 붙여넣어 고치고 — 가 크롤링의 실제 기술입니다. 한 번에 되는 게 아니라, 이 반복을 몇 번 도느냐의 문제예요.

코드를 외우는 게 아니라 AI에게 받아내는 3단계 비개발자가 크롤링 같은 코드를 해내는 길은 코드를 외우는 게 아니라 AI에게 받아내는 것입니다. 셋으로 받아냅니다. ① 개발자도구(F12)로 원하는 값이 어느 자리에 있는지 '어디를' 짚고, ② 원하는 동작을 개발 용어 없이 말로 순서대로 시키고, ③ 막히면 에러를 그대로 붙여넣어 고칩니다. 이 되풀이가 실제 기술입니다. 외운 코드 한 벌은 사이트가 화면 구조를 바꾸면 어느 날 빈 결과만 뱉으며 죽지만, 받아내는 흐름은 어느 사이트에서도 다시 열어 받아내면 통합니다. 코드를 '외우는' 게 아니라, AI에게 '받아내는' 3단계 ① 어디를 짚는다 개발자도구(F12)로 원하는 값의 자리 (태그·클래스)를 본다 ② 말로 시킨다 "스크롤 내려 다 뜨면 긁어줘 · 엑셀로 저장" 개발 용어 없이 ③ 붙여넣어 고친다 에러를 그대로 붙여넣고 "고쳐줘" 생성→실행→수정 안 되면 반복 — 이 되풀이가 실제 기술 외운 코드 한 벌 사이트가 화면 구조를 바꾸면 어느 날 빈 결과만 — 죽는다 vs 받아내는 흐름 (F12 → 말 → 붙여넣기) 사이트가 바뀌어도 다시 열어 받아내면 통한다 — 오래간다 외운 코드는 사이트가 바뀌면 죽습니다. 받아내는 능력은, 어느 화면에서든 다시 통합니다.
필요한 건 코드를 아는 게 아니라, AI에게 무엇을 시킬지 아는 것입니다. 그 방법은 어느 사이트에서도 다시 통합니다.

세 동작 어디에도 “코드를 외운다”는 단계가 없다는 데 주목해 주세요. 어디를 짚고, 말로 시키고, 붙여넣어 고칩니다. 이게 비개발자가 코드를 받아내는 법입니다.

3. 반전 — 예제 코드는 생각보다 빨리 죽습니다

여기서 한 가지, 오히려 중요한 이야기를 해야겠습니다. 많은 분이 크롤링을 배울 때 유명한 교재나 강의의 예제 코드를 통째로 받아 적어 둡니다. “이 코드를 저장해 뒀다가 그대로 쓰면 되겠지” 하고요. 그런데 그 코드는 생각보다 빨리 죽습니다.

크롤링 코드는 “이 사이트의 이 자리에서 값을 가져와라”라고 화면 구조를 콕 집어 둡니다. 그런데 웹사이트는 디자인을 바꾸고 구조를 바꿔요. 그러면 어제까지 멀쩡하던 코드가 어느 날 아무 말 없이 빈 결과만 뱉습니다. 에러도 안 나요. 그냥 아무것도 안 긁혀 옵니다.

실제로 겪은 일입니다. 널리 쓰이던 한 크롤링 예제의 구글 검색 결과 선택자(값의 자리를 가리키는 주소)를, 실습에 쓰기 전에 브라우저로 지금 화면을 열어 확인해 봤더니 — 이미 바뀌어 있었습니다. 그 코드를 그대로 줬으면 수업 당일 모두가 빈 결과를 받았을 겁니다. 외워 둔 코드 한 벌을 믿었다면 원인도 못 찾고 헤맸겠죠.

그래서 오래가는 건 코드가 아닙니다. 지금 이 화면을 열어 확인하고, AI에게 다시 시키는 능력입니다. 이건 AI는 어제를 기억하지 못하니 최신은 사람이 확인해야 한다는 이야기와도 맞닿아 있어요. 예제 코드도 마찬가지입니다. 저장된 한 벌은 과거의 화면을 기억할 뿐, 오늘의 화면은 오늘 열어 봐야 압니다.

4. 외우는 사람이 아니라, 받아내는 사람이 오래갑니다

정리하면 이렇습니다. 코드를 외운 사람은 사이트가 하나 바뀌는 순간 막힙니다. 반면 받아내는 법을 아는 사람은 화면이 바뀌어도 다시 F12를 눌러 자리를 짚고, 말로 시키고, 막히면 붙여넣어 고칩니다. 새 사이트든 바뀐 사이트든, 같은 세 동작이 그대로 통해요.

이게 이 블로그에서 AI 활용능력은 아는 기능의 수가 아니라 일을 맡기는 깊이라고 했던 것의 아주 구체적인 장면입니다. 크롤링을 “안다”는 건 코드 몇 줄을 외웠다는 뜻이 아니라, 원하는 걸 AI에게 받아낼 줄 안다는 뜻이에요. 그리고 그 능력은 크롤링에만 쓰이지 않습니다. 엑셀 자동화든, 문서 정리 스크립트든, 간단한 웹 도구든 — 코드가 필요한 모든 일에서 똑같이 작동합니다.

그러니 “저는 코딩을 못 해서요”라는 말은, 조금 바꿔 볼 만합니다. 코드를 못 짜는 건 문제가 아닙니다. 그건 원래 AI가 하는 일이니까요. 진짜 물어야 할 건 하나예요 — 나는 AI에게 무엇을, 어떻게 받아낼 수 있는가. 거기서부터, 개발자가 아니어도 할 수 있는 일이 생각보다 훨씬 넓어집니다.