ChatGPT가 당신의 브랜드 이름을 고객에게 추천하는 순간, 당신은 그 사실을 모른다. 고객은 AI에게 “이 업종에서 좋은 솔루션 추천해줘”라고 묻고, AI는 수십 개 사이트를 크롤링해 답변을 만든다. 그런데 당신의 사이트는 그 과정에서 완전히 무시당했을 수 있다. robots.txt가 GPTBot을 막고 있어서, 혹은 JavaScript로 모든 콘텐츠가 그려져 있어서, 혹은 AI가 “이 사이트는 뭘 하는 곳인지 모르겠다”고 판단해서. 문제는, 당신이 이것을 모른 채 지내고 있다는 것이다.

이 불가시성(invisibility)이 2026년 SEO의 가장 치명적인 리스크다. Semrush가 발표한 “How to optimize for agentic search” 가이드는 이 문제를 정면으로 다룬다. 핵심은 단 하나다. AI 에이전트는 더 이상 구글 검색 결과를 타고 당신에게 온다. 직접 당신 사이트에 들어와서 판단한다. 그리고 그 에이전트가 당신을 “신뢰할 수 없다”고 한 번 찍으면, AI 답변에서 당신은 영원히 빠진다.

“에이전트가 오기 전에, 당신 사이트의 문이 열려 있는지 확인하라”

외부 정보 (하베스터 수집) Semrush의 가이드가 처음 짚는 건 “agentic readiness“의 정의다. “에이전트가 당신의 사이트에 착륙해서 콘텐츠를 이해하고, 작업을 완수할 수 있는가?” — 가격 확인, 데모 신청, 구매까지. 이게 에이전트 준비 상태다.

그런데 현실은 냉담하다. 많은 사이트가 기본적인 출입구부터 막혀 있다. Semrush의 Site Audit에서 “AI Search Health” 점수를 확인하면, 당신의 페이지가 AI 크롤러에게 얼마나 잘 보이는지가 점수로 나온다. 높은 점수는 콘텐츠가 AI 크롤러에게 접근 가능하고, 구조가 잘 잡혀 있으며, AI 생성 답변에 포함될 가능성이 높다는 뜻이다.

반대로 낮은 점수는 “AI가 당신을 모른다“는 뜻이다. Semrush의 “Blocked from AI Search” 위젯은 robots.txt가 어떤 AI 봇을 막고 있는지, 그 봇이 어떤 페이지를 크롤링하지 못하는지 바로 보여준다. GPTBot, ClaudeBot, OAI-SearchBot 같은 봇이 핵심 페이지를 접근하지 못하면, 해당 페이지는 AI 답변에서 존재하지 않는 것과 같다.

Semrush Site Audit의 AI Search Health 점수 화면 — 사이트의 AI 검색 최적화 수준을 한눈에 보여주는 대시보드
출처: Semrush, “How to optimize for agentic search with Semrush” — AI Search Health 점수가 높을수록 AI 크롤러에게 콘텐츠가 더 잘 보인다.

AI 봇은 “첫방문에 판정”한다

외부 정보 (하베스터 수집) Semrush의 Log File Analyzer로 서버 로그를 분석하면, 실제로 어떤 AI 봇이 당신의 사이트를 방문하고 있는지 알 수 있다. GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot — 이 봇들이 어떤 페이지를 크롤링했는지, 어떤 상태 코드를 만났는지, 어떤 페이지를 건너뛰었는지까지.

여기서 핵심은 첫인상의 무게다. AI 크롤러는 구글과 달리 “재인덱스 요청” 같은 안전망이 없다. 처음 방문에서 JavaScript로 콘텐츠가 그려지거나, 핵심 정보가 숨겨져 있으면, AI는 “이 사이트는 얕다”는 판단을 저장하고 돌아간다. 그 뒤로 다시 오기까지 훨씬 오래 걸린다. Semrush의 가이드는 이 점을 명확히 짚는다 — “you won’t always know when you’re being skipped or chosen.” 당신이 선택당하는지 무시당하는지 알 수 없다는 것이다.

핵심 페이지의 “해독력”을 높여라

외부 정보 (하베스터 수집) 두 번째 단계는 핵심 페이지를 정리하는 일이다. Semrush의 On Page SEO Checker는 “잠재 영향력, 트래픽 기회, 구현 난이도”를 기준으로 페이지를 우선순위화한다. 그런데 에이전트 검색에서 중요한 건 “우선순위”가 아니라 “해독력“이다.

AI 에이전트는 사용자의 질문에 답하기 위해 당신의 사이트에서 “무엇을 제공하는지”, “누구를 위한 것인지”, “어떻게 다른지”, “다음 단계는 무엇인지”를 명확히 추출해야 한다. 이 네 가지가 명확하지 않으면, AI는 당신 대신 더 명확한 경쟁자를 선택한다. Semrush가 권장하는 구조화 원칙은 단순하다.

  1. 터미널에서 curl -s https://당신의사이트.com/robots.txt | grep -i "gptbot\|claude\|bot" — AI 봇이 막혀 있는지 확인하라.
  2. Semrush Site Audit에서 AI Search Health 점수를 확인하라. 70점 이하면 문제가 있다.
  3. 핵심 페이지(홈페이지, 가격, 데모 신청)를 브라우저에서 열고 “JavaScript를 꺼서” 읽어보라. JS 없이도 콘텐츠가 보이는가.

이 세 가지를 이번 주 안에 하면, 당신은 “에이전트가 당신을 어떻게 보는지”에 대한 첫 데이터를 갖게 된다. 그 데이터가 있으면, 그 다음부터는 보이지 않는 게 아니라 보이는 쪽으로 전환할 수 있다. Semrush가 말하듯, “Deciding what should be done, not just what can be done” — 무엇을 할 수 있느냐가 아니라 무엇을 해야 하느냐를 결정하는 일은 여전히 사람의 몫이다.

robots.txt에서 AI 봇이 막혀 있었다면, 그 발견을 댓글로 남겨달라. “문제없다”부터 “전부 막혀 있었다”까지, 어떤 발견이든 이 전환을 실제로 시작한 사람의 데이터가 된다. 그리고 curl 한 줄에서 막힌다면, 그 지점을 댓글로 알려달라. 이 블로그가 그 함정을 직접 다뤄보겠다.

근거 출처

[외부 정보 (하베스터 수집)] 이 글의 핵심 개념과 사실은 Semrush의 Luke Harsel이 2026-05-01에 발표한 “How to optimize for agentic search with Semrush”를 바탕으로 했다. 에이전트 준비 상태(agentic readiness) 정의, AI Search Health 점수, Blocked from AI Search 위젯, robots.txt에서 AI 봇 차단 문제, Log File Analyzer로 GPTBot/ClaudeBot/OAI-SearchBot 크롤링 패턴 분석, On Page SEO Checker로 핵심 페이지 구조화, 구조화 데이터(Schema) 검토, AI Visibility Toolkit의 Visibility Overview와 Cited Pages, “you won’t always know when you’re being skipped or chosen” 인용, Universal Commerce Protocol 언급, 마지막 네 가지 실행 권장사항 모두 해당 기사에서 가져왔다. Semrush Site Audit, Log File Analyzer, On Page SEO Checker의 기능 설명과 스크린샷은 원문에서 출처 명시와 함께 사용했다.

[상호작용 (에이전트-드루 대화·작업)] “왜 이게 ‘이번 주에’ 해야 하는 일인가” 섹션은 이 블로그 운영 경험에 근거한다. 구글 서치 콘솔이 보여주는 트래픽 데이터와 AI 인용 데이터 사이의 괴리, “보이지 않는다는 걸 모른다”는 리스크 인식, curl로 robots.txt를 확인하는 실전 검증 방법은 이 블로그의 SEO 파이프라인에서 반복적으로 마주친 문제에서 나왔다. 외부 도구의 기능 묘사와 수치는 상단의 외부 정보 출처에 근거하며, 이 섹션에서 추가로 주장하는 수치는 없다.

이 글은 Drewgent(개인 AI 에이전트 시스템)의 콘텐츠 파이프라인을 통해 작성되었다. 에이전트가 초안을 쓰고, 인간이 편집하고, cron이 발행한다.

  • 각 섹션의 제목이 주제를 정확히 반영하도록
  • 제목이 도입한 질문에 본문이 직접 답하도록
  • 빽빽한 텍스트를 짧은 단락이나 글머리 목록으로 분리
  • 관련 정보를 묶어서 각 섹션이 독립적으로 이해되도록

이건 SEO의 “좋은 기술”이 아니다. AI가 당신의 콘텐츠를 “재사용”할 수 있는지의 문제다. Universal Commerce Protocol(UCP) 같은 새 표준이 강조하는 것도 이것이다 — 명확하고, 접근 가능하고, 머신이 읽을 수 있는 정보.

구조화 데이터는 “보너스”가 아니라 “지문”이다

외부 정보 (하베스터 수집) Semrush의 가이드는 솔직하다. “Structured data’s impact on AI visibility isn’t clearly established.” 구조화 데이터가 AI 가시성에 미치는 영향은 아직 명확하지 않다고. 그런데도 “여전히 유지할 가치가 있다”고 말하는 이유는, 구조화 데이터가 “엔티티의 지문” 역할을 하기 때문이다.

Product, LocalBusiness, Organization — 이 스키마 타입들은 당신의 브랜드, 제품, 서비스가 “무엇인지”를 기계에게 명시적으로 알려준다. Semrush의 Site Audit에서 “Issues” 탭에 “structured”를 검색하면, 어떤 페이지에 유효하지 않은 구조화 데이터가 있는지 바로 확인된다. 누락된 필드, 잘못된 값까지.

AI가 텍스트만 보고 판단하는 세상에서도, 구조화 데이터는 “이 브랜드는 이 업체고, 이 제품은 이 가격이고, 이 서비스는 이 지역에 있다“는 사실을 가장 효율적으로 전달하는 수단이다.

가시성을 “측정”해야 변화가 시작된다

외부 정보 (하베스터 수집) 마지막 단계는 가시성을 측정하는 일이다. Semrush의 AI Visibility Toolkit에서 Visibility Overview 리포트는 AI 플랫폼 전반에 걸쳐 당신의 기준선을 보여준다. 멘션 수, 인용 수, 인용된 페이지 — 이 숫자들이 시간에 따라 성장하는지, 하락하는지, 경쟁자 대비 어떤지.

“Cited Pages” 보고서는 어떤 페이지가 실제로 AI 시스템에 의해 인용되고 있는지 보여준다. “Filter by URL”로 특정 핵심 페이지를 찾아볼 수도 있다. Semrush의 권장사항은 명확하다. AI가 사용자에게 묻는 질문과 토픽을 찾아, 그 주제에 대한原创 콘텐츠를 발행하고, YouTube, LinkedIn, 산업 매체 같은 제3자 사이트에서 일관된 메시지를 유지하라. 단순한 SEO가 아니라 “AI 답변에서의 존재감”을 설계하는 일이다.

Semrush AI Visibility Toolkit의 Visibility Overview 대시보드 — AI 플랫폼별 멘션·인용·인용 페이지 수를 비교하는 화면
출처: Semrush, “How to optimize for agentic search with Semrush” — AI 가시성을 플랫폼별로 비교하고 시간에 따라 추적하는 대시보드.

왜 이게 “이번 주에” 해야 하는 일인가

여기서부터는 상호작용 (에이전트-드루 대화·작업)으로 얻은 경험이다. 우리가 이 블로그를 운영하면서 가장 자주 마주치는 리스크 중 하나는 “우리가 보이지 않는다는 걸 모른다“는 것이다. 구글 서치 콘솔은 트래픽을 보여주지만, ChatGPT가 우리를 얼마나 인용하는지는 보여주지 않는다. Perplexity가 어떤 답변에서 우리를 제외했는지는 더더욱.

Semrush의 가이드는 도구의 기능을 나열하지만, 실질적인 메시지는 이 한 문장에 수렴한다. “You won’t always know when you’re being skipped or chosen.” 당신은 언제 무시당하고 있는지 모른다. 그래서 “이번 주에” 확인해야 한다. Site Audit의 AI Search Health 점수를 보고, robots.txt에서 AI 봇이 막혀 있는지 확인하고, 핵심 페이지가 JS에 의존하지 않는지 직접 확인하는 세 가지.

Semrush가 제안하는 네 단계 — AI 크롤러 접근 확인, 핵심 페이지 최적화, 구조화 데이터 검토, AI 가시성 측정 — 이 순서대로 하면, 당신의 사이트는 “에이전트가 선택할 수 있는 사이트”가 된다. 반대로 이 네 단계를 건너뛰면, 당신은 AI가 “신뢰할 수 없다”고 판단한 사이트로 남는다.

이번 주에 실행할 것

정리하면, 에이전트 검색에서 당신의 사이트가 “선택”되려면 세 가지가 충족되어야 한다. 접근 가능하고(accessible), 이해 가능하고(understandable), 재사용 가능하며(reusable). Semrush의 도구들은 이 세 조건을 진단하고 개선하는 방법을 제시한다. 하지만 그 전에, 당신이 해야 할 가장 중요한 일은 “지금 내 사이트를 기계의 눈으로 읽어보는 것“이다.

  1. 터미널에서 curl -s https://당신의사이트.com/robots.txt | grep -i "gptbot\|claude\|bot" — AI 봇이 막혀 있는지 확인하라.
  2. Semrush Site Audit에서 AI Search Health 점수를 확인하라. 70점 이하면 문제가 있다.
  3. 핵심 페이지(홈페이지, 가격, 데모 신청)를 브라우저에서 열고 “JavaScript를 꺼서” 읽어보라. JS 없이도 콘텐츠가 보이는가.

이 세 가지를 이번 주 안에 하면, 당신은 “에이전트가 당신을 어떻게 보는지”에 대한 첫 데이터를 갖게 된다. 그 데이터가 있으면, 그 다음부터는 보이지 않는 게 아니라 보이는 쪽으로 전환할 수 있다. Semrush가 말하듯, “Deciding what should be done, not just what can be done” — 무엇을 할 수 있느냐가 아니라 무엇을 해야 하느냐를 결정하는 일은 여전히 사람의 몫이다.

robots.txt에서 AI 봇이 막혀 있었다면, 그 발견을 댓글로 남겨달라. “문제없다”부터 “전부 막혀 있었다”까지, 어떤 발견이든 이 전환을 실제로 시작한 사람의 데이터가 된다. 그리고 curl 한 줄에서 막힌다면, 그 지점을 댓글로 알려달라. 이 블로그가 그 함정을 직접 다뤄보겠다.

근거 출처

[외부 정보 (하베스터 수집)] 이 글의 핵심 개념과 사실은 Semrush의 Luke Harsel이 2026-05-01에 발표한 “How to optimize for agentic search with Semrush”를 바탕으로 했다. 에이전트 준비 상태(agentic readiness) 정의, AI Search Health 점수, Blocked from AI Search 위젯, robots.txt에서 AI 봇 차단 문제, Log File Analyzer로 GPTBot/ClaudeBot/OAI-SearchBot 크롤링 패턴 분석, On Page SEO Checker로 핵심 페이지 구조화, 구조화 데이터(Schema) 검토, AI Visibility Toolkit의 Visibility Overview와 Cited Pages, “you won’t always know when you’re being skipped or chosen” 인용, Universal Commerce Protocol 언급, 마지막 네 가지 실행 권장사항 모두 해당 기사에서 가져왔다. Semrush Site Audit, Log File Analyzer, On Page SEO Checker의 기능 설명과 스크린샷은 원문에서 출처 명시와 함께 사용했다.

[상호작용 (에이전트-드루 대화·작업)] “왜 이게 ‘이번 주에’ 해야 하는 일인가” 섹션은 이 블로그 운영 경험에 근거한다. 구글 서치 콘솔이 보여주는 트래픽 데이터와 AI 인용 데이터 사이의 괴리, “보이지 않는다는 걸 모른다”는 리스크 인식, curl로 robots.txt를 확인하는 실전 검증 방법은 이 블로그의 SEO 파이프라인에서 반복적으로 마주친 문제에서 나왔다. 외부 도구의 기능 묘사와 수치는 상단의 외부 정보 출처에 근거하며, 이 섹션에서 추가로 주장하는 수치는 없다.

이 글은 Drewgent(개인 AI 에이전트 시스템)의 콘텐츠 파이프라인을 통해 작성되었다. 에이전트가 초안을 쓰고, 인간이 편집하고, cron이 발행한다.