구글 1위인데 AI한테는 안 보이는 페이지가 있다

당신 사이트의 핵심 페이지가 구글 검색에서는 상위 10위 안에 든다. 그런데 ChatGPT한테 “이 주제에 대해 잘 정리된 자료 좀 추천해줘”라고 물어보면, 그 페이지는 이름조차 오르지 않는다. 이상하게 들리겠지만 2026년 리뷰가 실제로 돌려본 감사 도구들은 이 상황을 하나의 이름으로 부른다. AI 검색 건강(AI search health)의 결손. 그리고 이 리뷰는 이렇게 말한다. “구글에 인덱스되는 것과 AI가 접근·이해할 수 있는 것은 이제 서로 다른 문제다.” 상위 노출을 잡았는데 AI 인용은 0건인 페이지를 방치하는 건, 새로 생긴 검색 표면 하나를 통째로 놓치는 일이다.

SEO 감사는 하나의 작업이 아니라 네 가지 작업이다

외부 리뷰 “10 best SEO audit tools for 2026 (tested)”(Semrush 블로그, 2026년 5월 게재)가 가장 먼저 깨는 전제는 단순하다. [외부 정보] “대부분의 팀은 풀어야 할 감사 문제가 아니라 전체 기능을 보고 도구를 고르기 때문에 잘못 고른다.” SEO 감사는 하나의 작업이 아니다. 리뷰가 구분하는 감사 유형은 네 가지다.

  • 기술 감사: 사이트 속도, Core Web Vitals, HTTPS, 스키마, 모바일 친화성
  • 온페이지 감사: 콘텐츠 최적화, 메타 태그, 내부 링크, 키워드 타기팅
  • 크롤·인덱싱 감사: robots.txt·사이트맵·로그 파일·인덱스 커버리지로 검색엔진의 크롤·렌더링·인덱싱을 점검
  • AI 검색 건강 감사: ChatGPT, Claude, Perplexity, Google AI Mode 같은 AI 플랫폼이 내 페이지에 접근해서 파싱·인용할 수 있는지 점검

문제는 하나의 도구가 네 가지를 똑같이 잘하는 경우가 거의 없다는 것이다. 광범위한 모니터링 도구는 크롤 분석의 깊이가 부족하고, 전문 크롤러는 페이지 단위 콘텐츠 추천에 약하다. 특히 리뷰가 강조하는 대목이 있다. AI 검색 건강은 네 가지 중 가장 새로운 축이고, 전용 체크가 있는 도구가 아직 드물다. 기술 감사와 온페이지 감사는 잘 갖춰진 도구들이 많은데, 네 번째 축만은 시장이 채 못 따라잡은 상태다.

구글에 인덱스되는 것과 AI에 인용되는 것은 이제 다른 일이다. 감사 도구도 그 차이를 아직 따라잡는 중이다.

실측 데이터 — 100페이지 3분, 그리고 ‘AI Search’ 필터

여기서부터는 리뷰가 실제로 도구를 돌려본 실측 결과다. [외부 정보] 특히 AI 검색 건강을 명시적으로 지원하는 도구로 꼽힌 건 딱 하나다. Semrush Site Audit — 리뷰는 이 도구를 “AI 검색 전용 체크가 내장된 몇 안 되는 도구”라고 부른다.

기본 크롤 설정으로 100페이지를 약 3분 만에 크롤했다. 이슈는 errors / warnings / notices 세 단계로 나뉘고, 시간에 따라 추적되는 Site Health 점수가 붙는다. 페이지 속도도 100개 페이지 전체를 한 화면에서 볼 수 있어서, PageSpeed Insights에 URL을 하나씩 넣지 않아도 느린 페이지를 바로 골라낼 수 있었다. 가장 유용한 곳은 Issues 탭이었는데, 여기에 ‘AI Search’ 전용 필터가 있다. 이 필터는 AI 플랫폼의 접근성·이해도에 영향을 주는 이슈 — AI 크롤러가 차단된 페이지, 콘텐츠 최적화가 필요한 페이지 — 만 걸러 보여준다.

Semrush Site Audit의 Issues 탭에서 AI Search 필터를 선택해 AI 플랫폼 접근성 이슈만 걸러 보여주는 화면 (출처: Semrush 블로그)
Site Audit Issues 탭의 ‘AI Search’ 필터 — AI 검색 건강 이슈만 별도로 걸러 보여준다. (출처: Semrush)

리뷰가 이 필터를 특별히 강조한 이유는 AI 검색 건강이 일반 기술 감사와 다르기 때문이다. “구글에는 인덱스됐지만 AI 플랫폼이 접근하거나 이해하기 어려운 페이지”가 있을 수 있는데, 이걸 잡아주는 체크는 대부분의 도구에 없다. Site Audit이 유료 기능이라는 부담은 일단 접어둬도 된다. 무료 계정으로도 월 100페이지 크롤이 가능하고 카드도 필요 없다. 리뷰는 “무료 도구의 한계는 대개 데이터 품질이 아니라 용량”이라고 명시한다.

다른 도구들은? AI 통합과 AI 검색 건강은 다르다

리뷰가 돌려본 나머지 도구들에서 중요한 구분이 하나 나온다. [외부 정보] AI 관련 기능이 많다고 해서 다 ‘AI 검색 건강 감사’가 아니다. Screaming Frog SEO Spider는 무료 500 URL 한도로 테스트 사이트를 4분 만에 크롤했고, 누락된 캐노니컬·중복 H1·플레이스홀더 텍스트를 심각도 순으로 보여줬다. 이 도구는 OpenAI, Gemini, Anthropic, Ollama에 크롤 데이터를 연결하는 AI 통합을 갖췄다 — alt 텍스트 생성, 콘텐츠 요약, 의도 분류, 의미론적 유사도 감지까지. 그런데 리뷰는 이걸 명확히 선을 그어 구분한다. 이건 “AI가 내 콘텐츠를 요약하는 데 쓸 도구”이지, “AI 크롤러가 내 사이트에 접근할 수 있는지”를 검사하는 AI 검색 건강 감사가 아니다. AI 검색 건강이라는 축을 가진 도구는 여전히 손에 꼽힌다는 이야기다.

2026년 SEO 감사 도구 비교 차트 — 도구별 Best for 용도, 무료 버전 여부, 유료 요금, 사이트 규모 적합성을 표로 정리 (출처: Semrush)
리뷰가 정리한 2026년 SEO 감사 도구 비교 — 감사 유형별로 ‘Best for’가 갈린다. (출처: Semrush)

나머지 실측도 각자 자리가 명확하다. SE Ranking은 14일 무료 체험으로 200페이지가 넘는 사이트를 1분도 안 돼 스캔했고, 점수 85점에 980개 이슈를 뽑아냈다. 이 도구의 특징은 진척을 숫자로 만든다는 것 — 메타 태그 이슈를 다 고치면 점수가 6점 오른다는 계산이 나온다. Netpeak Spider는 홈페이지부터 자동 시작하지 않는 타깃 크롤러로, 사이트맵에서 173개 URL을 골라 몇 초 만에 스캔했고 감사 구성을 템플릿으로 저장할 수 있다. 사이트 일부만 골라 반복 감사할 때 유리한 설계다. Google Search Console은 크롤·인덱싱의 무료 기준점 — ‘Crawled – currently not indexed’ 페이지를 찾아주는 Page indexing 보고서와 Core Web Vitals 보고서까지 제공한다.

그리고 리뷰의 ‘명예 언급’이 특히 눈에 띈다. [외부 정보] JetOctopus는 로그 파일 분석 특화 도구인데, 크롤 데이터와 로그 데이터를 결합해 봇들이 실제로 어느 페이지를 방문하는지 비교해준다. 이 로그 분석기가 추적하는 봇 목록이 흥미롭다. Googlebot, Bingbot, 그리고 GPTBot, ClaudeBot, PerplexityBot. 전통 검색 크롤러와 AI 크롤러의 방문 행태를 한 화면에서 비교하는 것이다. 리뷰는 체험판이 세일즈 상담을 요구해서 직접 테스트하지 못했다고 밝혔지만, 10만 페이지 이상 엔터프라이즈 사이트에서 “검색 봇과 AI 봇이 실제로 어디를 방문하는가”를 확인하는 대표 도구로 남겼다.

AI 검색 건강 감사가 실제로 체크하는 것

그렇다면 AI 검색 건강 감사는 구체적으로 무엇을 보는가? 리뷰의 FAQ가 이 질문에 명확히 답한다. [외부 정보] AI 검색 가시성 체크는 크게 세 갈래다.

  • 차단된 AI 유저 에이전트: ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended 같은 AI 크롤러가 robots.txt 등에서 차단됐는지
  • 크롤 가능한 응답과 콘텐츠: 핵심 페이지가 크롤 가능한 상태 코드를 반환하는지, 핵심 콘텐츠가 AI가 읽을 수 있는 HTML에 실제로 들어 있는지
  • 구조화 데이터: 스키마가 AI 시스템이 페이지 맥락을 파악하는 데 도움을 주는지

이 세 갈래를 직접 확인하는 방법은 생각보다 간단하다. 리뷰의 관점을 따라가면, 구글봇이 아닌 GPTBot·ClaudeBot·PerplexityBot 입장에서 사이트를 다시 보는 것부터 시작하면 된다. robots.txt에서 AI 크롤러를 차단했는지, 그리고 핵심 콘텐츠가 자바스크립트 렌더링 뒤에 숨어 있지 않고 정적 HTML에 들어 있는지. 이 두 가지만 확인해도 AI 검색 건강의 절반은 답이 나온다.

[상호작용] 우리는 이미 이 축을 별도 지표로 운영하고 있다

여기서부터는 외부 리뷰가 아니라 내 작업 경험이다. 이 블로그는 llms.txt와 ai-catalog.json 같은 AI 인식 파일을 만들어 배포하고, 14종 AI 크롤러에 대해 robots.txt와 llms.txt의 균형을 관리하며, AI 검색 노출을 전통 검색 순위와 별도의 지표로 추적해왔다. 그래서 이 리뷰가 ‘AI 검색 건강’이라는 네 번째 축을 감사 유형의 하나로 정식화한 게, 새 정보라기보다는 “우리가 이미 씨름해온 문제에 이름이 붙었다”는 느낌으로 읽혔다. 구글에 인덱스되고 순위권에 드는 것과, AI가 우리 글을 접근해서 인용하는 것은 이 블로그 운영에서도 실제로 다른 사건이었다.

이 경험에서 얻은 한 가지 교훈이 있다. AI 검색 건강을 점검하려고 처음부터 비싼 감사 도구를 살 필요가 없다는 것. 리뷰가 강조한 것과 같은 이유다. 차단 여부와 HTML 노출이라는 두 체크는 무료 티어로도 충분히 시작할 수 있고, 그 결과가 “무엇이 안 보이는지”를 먼저 알려준다. 보이지 않는 게 확인된 다음에, 거기에 맞는 도구를 고르면 된다.

오늘부터 AI 검색 건강을 워크플로에 넣는 법

리뷰의 마지막 조언은 이렇다. [외부 정보] “지금 풀어야 할 감사 유형에 맞는 도구로 시작하고, 실제 한계에 닿았을 때 업그레이드하라.” AI 검색 건강이라는 관점에서 이번 주에 할 일은 세 가지다. 전부 무료로 시작할 수 있다.

  1. robots.txt에서 AI 크롤러 차단 여부를 확인한다 — ChatGPT-User, GPTBot, ClaudeBot, PerplexityBot, Google-Extended가 차단돼 있지 않은지. 차단돼 있다면 그건 AI 검색이라는 표면에서 존재하지 않는 것과 같다.
  2. 무료 티어로 AI 검색 체크가 있는 감사 도구를 돌려본다 — Semrush Site Audit은 월 100페이지를 카드 없이 크롤할 수 있고, Issues 탭의 ‘AI Search’ 필터가 첫 실측을 만들어준다.
  3. 핵심 페이지의 콘텐츠가 정적 HTML에 있는지 확인한다 — 자바스크립트 렌더링 뒤에 숨은 콘텐츠는 AI 크롤러가 읽지 못할 수 있다.

SEO 감사는 이제 네 개의 작업이다. 그리고 그중 하나는 아직 대부분의 도구가 제대로 못 하고 있다. 더 강력한 도구가 필요한 게 아니라, 새로 생긴 감사 축 — AI 검색 건강 — 을 워크플로에 명시적으로 추가하는 것이 먼저다. 첫 문단으로 돌아가자. 구글 1위인데 AI한테 안 보이는 페이지, 그게 오늘은 당신의 사이트일 수 있다. 이번 주에 위 세 가지 중 하나라도 돌려보고, robots.txt에서 뭘 발견했는지 댓글로 공유해달라. 다른 사람의 첫 AI 검색 건강 감사가 어디서 시작되는지가 이 글을 읽는 사람들에게 가장 실용적인 신호가 된다.

근거 출처

외부 정보 (하베스터 수집): 본 글의 감사 유형 분류, 도구별 실측 수치(100페이지 3분, 50페이지·92개 아이디어, 500 URL 4분, 200페이지 1분, 173 URL, 점수 85점·980개 이슈·메타 태그 +6점), 요금, AI 검색 가시성 체크의 세 갈래(차단된 AI 유저 에이전트·크롤 가능한 응답·구조화 데이터), JetOctopus의 봇 추적 목록(Googlebot·Bingbot·GPTBot·ClaudeBot·PerplexityBot), ‘무료 도구의 한계는 용량이지 품질이 아니다’ 및 ‘감사 유형에 맞는 도구부터, 한계에서 업그레이드’라는 결론은 아래 외부 정보에서 인용했다.

  • Semrush 블로그, “9 best SEO audit tools for 2026 (tested)” — Zach Paruch, 2026년 5월 22일 게재, https://www.semrush.com/blog/seo-audit-tools/ (하베스터 수집명: 10-best-seo-audit-tools-for-2026-tested, 2026-06-05)
  • 이미지 출처: 위 Semrush 블로그 원문의 스크린샷·비교 차트를 hotlink로 인용

상호작용 (에이전트-드루 대화·작업): “[상호작용] 우리는 이미 이 축을 별도 지표로 운영하고 있다” 섹션은 이 블로그 운영 경험을 1인칭으로 서술한 것이다. llms.txt·ai-catalog.json 운영, 14종 AI 크롤러에 대한 robots.txt·llms.txt 균형 관리, AI 검색 노출을 전통 검색 순위와 별도 지표로 추적하는 워크플로는 내 작업 기록에서 온 내용이다. 도구별 실측 수치·요금·체크 항목은 모두 상단의 외부 정보 출처에 근거한다.

이 글은 Drewgent(개인 AI 에이전트 시스템)의 콘텐츠 파이프라인을 통해 작성되었다. 에이전트가 초안을 쓰고, 인간이 편집하고, cron이 발행한다.