AI가 내 사이트를 100번 크롤링해도, 답변에는 없다

“AI 크롤러에게 보이느냐”는 요즘 SEO 대화의 기본 전제가 됐다. Conductor가 지난 7월 업데이트한 AI 크롤러블리티 가이드의 출발점도 같다. “브랜드가 언급·인용·추천되기 전에, 크롤러가 먼저 콘텐츠를 찾고 이해할 수 있어야 한다. 그렇지 않으면 전통 SEO가 아무리 강해도 AI 검색에서는 사실상 보이지 않는다.” 크롤 가능해야 인용 가능하다. 맞는 말이다.

그런데 진짜 문제는 그다음에 있다. 크롤은 되는데 인용은 안 되는 사이트가 점점 더 많다. 서버 로그에는 GPTBot과 PerplexityBot의 방문이 매일 찍히는데, 정작 ChatGPT에 물어보면 답변에 우리는 없다. 방문은 하는데 쓰이지 않는 상태. ‘보이는 것(visibility)’과 ‘쓰이는 것(usability)’ 사이의 간극이다. 이 간극을 이해하는 게 2026년 AI 검색의 실제 과제다.

순위가 말해주지 않는 것 — AI 검색은 파이프라인이다

전통 SEO의 가정은 단순하다. 순위를 올리면 인간이 클릭한다. 순위가 곧 가시성이다. 하지만 AI 검색에는 순위라는 화면이 없다. 대신 네 단계의 파이프라인이 있다. 크롤(crawl) → 해석(parse) → 추출(extract) → 인용(cite).

각 단계는 서로 다른 방식으로 실패한다. 크롤 단계에서 막히면 아무 일도 일어나지 않는다. 해석 단계에서 막히면 방문은 찍히지만 내용이 전달되지 않는다. 추출·인용 단계에서 막히면 방문도 이해도 됐지만 답변에 반영되지 않는다. 문제는 이 네 단계가 전통 SEO 도구로는 전부 보이지 않는다는 것이다. 순위 리포트는 이 파이프라인을 모델링하지 않는다.

그래서 이 글에서 하고 싶은 말은 두 가지다. 첫째, 크롤러블리티는 ‘문을 여는’ 작업일 뿐이다 — 입장권이다. 둘째, 입장권을 얻은 뒤에는 봇이 그 사이트를 ‘쓰는지’가 경쟁력의 다음 축이 된다. 근거 데이터를 보자.

AI 크롤러는 사이트를 다르게 본다

AI 크롤러와 구글봇의 차이는 단순한 기술적 차이가 아니라 ‘읽는 방식’의 차이다. Conductor 가이드가 짚는 차이는 세 가지다.

첫째, 대부분의 AI 크롤러는 JavaScript를 실행하지 않는다. 구글봇은 첫 방문 후 렌더링까지 처리하지만, GPTBot·ClaudeBot·PerplexityBot 계열은 렌더링 비용을 이유로 원시 HTML만 읽는다. 타이틀, H1, 내부 링크, 제품 정보, 리뷰가 JS로 로드된다면 브라우저에서는 멀쩡해 보여도 AI 크롤러의 눈에는 빈 페이지다.

둘째, 재크롤 요청 버튼이 없다. 구글 서치 콘솔에는 재색인 요청이라는 안전망이 있다. AI 크롤러에게는 그런 수동 조작이 존재하지 않는다. 첫 방문에서 얇은 콘텐츠나 막힌 접근을 발견하면, 돌아오는 데 오래 걸리고 어쩌면 아예 돌아오지 않는다. 원문의 표현 그대로, “첫인상은 오래간다.”

셋째, 더 자주, 더 빨리 온다. Conductor가 자사 페이지를 추적한 데이터가 결정적이다. 발행 5일 차에 ChatGPT는 구글보다 약 8배, Perplexity는 약 3배 더 자주 방문했다. 어떤 페이지는 같은 기간 구글·빙보다 100배 이상 크롤되기도 했다. 그리고 발행 24시간 안에 Perplexity는 구글 수준의 크롤 횟수를 달성했고, ChatGPT는 그 3배를 기록했다.

Conductor 모니터링의 AI 크롤 활동 화면 — 발행 5일 차에 ChatGPT가 구글보다 약 8배, Perplexity가 약 3배 더 자주 페이지를 방문한 크롤 빈도 데이터
출처: Conductor, “AI Crawlability” (2026-07-20) — 발행 5일 차, AI 크롤러의 방문 빈도가 구글·빙을 크게 앞섰다
발행 시점부터의 크롤러별 방문 추이 선 그래프 — 발행 24시간 안에 Perplexity가 구글 수준에 도달하고 ChatGPT가 그 3배를 기록한 데이터
출처: Conductor, “AI Crawlability” (2026-07-20) — 발행 24시간 안에 AI 크롤러가 전통 검색엔진의 크롤 횟수를 따라잡거나 넘어섰다

이 데이터는 양날의 검이다. 새 콘텐츠는 발행 당일에 AI 검색에 반영될 수 있다는 뜻이면서, 동시에 문제가 있으면 그 ‘당일’에 평가가 끝난다는 뜻이다. 주간·월간 스케줄 크롤링으로는 대응이 불가능하다. Conductor는 “크롤러블리티 문제가 며칠간 감지되지 않으면, AI 크롤러가 다시 오지 않을 수도 있어 보고서에 나타나기 훨씬 전에 브랜드 권위가 손상될 수 있다”고 경고한다.

그런데 크롤링이 뚫려도 인용은 안 된다

크롤러블리티를 막는 것들은 이미 잘 알려져 있다. JS 의존, 스키마 부재, 기술 이슈(깨진 링크, 크롤 지시 문제, Core Web Vitals), 게이트 콘텐츠. 그중에서도 robots.txt는 가장 민감한 파일이다. “robots.txt는 SEO 세계에서 가장 민감한 파일이다. 한 글자가 사이트 전체를 망가뜨릴 수 있다.” 성장 어드바이저 케빈 인디그의 말이다. Shopify의 폴 샤피로가 보기에 robots.txt 문제의 대부분은 세 가지에서 온다 — 와일드카드 오용, 코드 배포 중 개발자가 무심코 바꾼 변경, 존재하지 않는 지시어 사용. Boston Globe Media는 코드 배포 한 번으로 전체 사이트의 robots.txt가 이전 상태로 되돌아가는 사고를 겪었고, 실시간 모니터링이 몇 분 안에 잡아냈다.

그런데 흥미로운 건, ‘크롤이 뚫렸다’는 것도 여전히 시작점이라는 사실이다. Boston Globe Media가 관찰한 또 하나의 사실이 이를 말해준다. 구글봇은 사이트 계층 구조를 따라 예측 가능하게 이동하지만, AI 크롤러는 404 페이지에 자주 떨어지고 내비게이션 신호를 무시한다. 즉 AI 크롤러는 구조를 제대로 읽지 못한 채 돌아다닌다. 방문 자체를 늘려도 구조가 읽히지 않으면 아무 소용이 없다.

‘보이는 것’과 ‘쓰이는 것’ — 봇 행동 데이터가 말하는 것

여기서부터가 이 글의 핵심이다. 지난 5월 Conductor 아카데미에 실린 분석(Stas Levitan, LightSite)은 가시성 지표의 한계를 정면으로 다룬다. “AI 시스템이 사이트에 도착했는데도 비즈니스 정보가 어디 있는지, FAQ가 어디 있는지, 카탈로그를 어떻게 검색해야 하는지 추측해야 한다면 — 크롤 가능한 것과 사용 가능한 것은 다르다.”

LightSite는 고객 사이트에 스킬스 매니페스트(skills manifest)를 배포했다. 사이트 검색, FAQ 조회, 제품 검색, 비즈니스 정보처럼 AI 시스템이 취할 수 있는 행동을 기계가 읽을 수 있게 나열한 계층이다. 그리고 배포 전후 7일씩 봇 행동을 비교했다.

ChatGPT의 변화가 가장 컸다. 트래픽이 2,250회에서 6,870회로, Q&A 엔드포인트 사용이 534회에서 2,736회로 늘었다. 그리고 가장 중요한 지표인 경로 다양성(path diversity)이 51.6%에서 30%로 떨어졌다. 방문 총량이 늘면서도 방문 경로가 좁아졌다는 것은, 봇이 사이트 여기저기를 헤매는 대신 가치 있는 엔드포인트 몇 개로 되돌아오기 시작했다는 의미다. 크롤러에서 도구 사용자로 변한 것이다.

물론 플랫폼마다 다르게 반응했다. Claude는 경로 다양성이 18%에서 6.9%로 줄었고, Meta AI는 매니페스트를 114회만 가져가면서도 Q&A 2,865회를 만들어냈다. Gemini는 거의 변화가 없었다. 원문도 정직하게 경계를 긋는다. “매니페스트 배포가 브랜드 언급 증가를 유발한다는 것을 증명하지는 않는다.” 그럼에도 방문 횟수보다 ‘어디에 집중하는가’가 더 구조적인 신호일 수 있다는 관점은 설득력이 있다.

이 분석의 결론은 한 문장으로 압축된다. “모델이 우리 사이트에 왔을 때, 쓰기 쉬운 시스템을 찾았는가, 미로를 찾았는가.” 2026년의 질문은 더 이상 “크롤러가 우리를 보나요?”가 아니라 “크롤러가 우리를 쓸 수 있나요?“다.

오늘 30분이면 끝나는 점검 4가지

크롤러블리티를 ‘일회성 프로젝트’가 아니라 ‘지속적 실천’으로 만들기 위한 최소 점검이다. Conductor의 체크리스트를 바탕으로, 봇 행동 레이어를 더해 정리했다.

  • 원시 HTML 확인 — 페이지 소스 보기나 curl로 타이틀, H1, 본문, 내부 링크가 JS 로드 없이 최초 HTML에 있는지 확인한다. 브라우저에서 멀쩡해 보여도 소스가 비어 있으면 AI 크롤러에게도 비어 있는 것이다.
  • robots.txt 감사 — 학습용 봇과 검색용 봇을 구분한다. OAI-SearchBot(OpenAI 실시간 검색)이나 PerplexityBot을 차단하면 AI 답변의 인용 소스에서 빠진다. 학습 데이터 우려가 있다면 GPTBot·ClaudeBot만 골라 차단하는 전략을 쓰고, WAF·CDN·봇 방지 설정이 AI 크롤러를 실수로 막고 있지 않은지도 확인한다.
  • AI 크롤러 활동 모니터링 — 서버 로그나 Cloudflare 대시보드에서 GPTBot·ClaudeBot·PerplexityBot의 흔적을 찾는다. 주간 단위로, 그리고 배포·마이그레이션 직후에는 즉시 확인한다. 배포는 robots.txt를 조용히 되돌리는 가장 흔한 범인이다.
  • ‘쓰임’ 신호 보기 — 방문량만 보지 말고 ‘어느 페이지가 반복 방문되는가’를 본다. 봇이 특정 엔드포인트로 집중되기 시작하면 구조가 읽히기 시작했다는 신호다. 비싼 엔터프라이즈 도구가 필요하지 않다. 로그와 무료 분석 도구로 시작할 수 있다.

Conductor는 이렇게 마무리한다. “AI 크롤러블리티를 지속적 실천이 아닌 일회성 프로젝트로 대하는 브랜드가 아니라, 지속적 실천으로 대하는 브랜드가 AI 답변에서 가시성을 얻고 유지할 가능성이 높다.” 입장권은 한 번 끊으면 끝이 아니다. 사이트가 바뀔 때마다 다시 확인해야 하는 문이 되었다.

오늘 30분, 서버 로그나 Cloudflare 대시보드에서 지난 7일간 GPTBot·ClaudeBot·PerplexityBot의 흔적을 찾아보라. 있다면 반은 온 것이다. 그다음에는 ‘어느 페이지를 반복해서 방문하는지’까지 보라. 크롤러블리티가 실제로 작동하기 시작하는 순간이 바로 거기다. 결과가 어떤지 댓글로 공유해달라 — 같은 고민을 하는 사람들에게 가장 현실적인 데이터가 된다.

근거 출처

외부 정보 (하베스터 수집)

  • Conductor, “AI Crawlability: How to Make Your Site Accessible to AI Bots” (last updated 2026-07-20, conductor.com/academy/ai-crawlability/) — 크롤러블리티 정의, AI 크롤러의 JS 미렌더링, 재크롤 요청 불가, 크롤 빈도 데이터(발행 5일 차 ChatGPT 약 8배·Perplexity 약 3배, 일부 페이지 100배 이상, 24시간 내 크롤), 크롤러블리티 차단 4요소, Boston Globe Media 사례(robots.txt 롤백 사고, 404 페이지 진입), 점검 체크리스트.
  • Conductor(Stas Levitan, LightSite), “Why Bot Behavior May Matter More Than Raw AI Visibility Metrics” (2026-05-11, conductor.com/academy/ai-bot-behavior/) — 스킬스 매니페스트 배포 전후 봇 행동 데이터: ChatGPT 트래픽 2,250→6,870회, Q&A 엔드포인트 534→2,736회, 경로 다양성 51.6%→30%, Claude 18%→6.9%, Meta AI 매니페스트 114회 fetch·Q&A 2,865회, Gemini 거의 무변화, 인과 증명 불가 명시.
  • Conductor, “Robots.txt: The Ultimate Reference Guide” (last updated 2026-02-23, conductor.com/academy/robotstxt/) — 학습용 봇(GPTBot·ClaudeBot)과 검색용 봇(OAI-SearchBot·PerplexityBot) 구분, 검색봇 차단 시 AI 답변 인용에서 제외, 사용자 유발 페치의 robots.txt 우회 가능성, 케빈 인디그·폴 샤피로의 robots.txt 실패 사례 분석.

상호작용 (에이전트-드루 대화·작업) — 본문은 모두 외부 정보(하베스터 수집)에 기반하며, 필자의 개인 작업 데이터는 사용되지 않았다.