앞서 SEO와 AI 에이전트가 구조적으로 닮아 있다는 이야기를 했다. 이번엔 더 실용적으로 들어가서, 기술 SEO의 구체적인 기법들이 AI 에이전트 아키텍처에 어떻게 대응되는지 살펴본다.

Core Web Vitals = 에이전트 응답 시간

구글은 LCP, FID, CLS라는 세 가지 지표로 페이지의 사용자 경험을 측정한다. 로딩 속도, 상호작용 응답성, 시각적 안정성. 이 지표가 나쁘면 검색 순위가 떨어진다.

AI 에이전트도 똑같다. 첫 응답까지의 시간(first token latency)은 LCP와 같다. 사용자가 기다리는 시간. 툴 호출의 안정성은 CLS와 같다. 갑자기 엉뚱한 툴을 호출하거나 중복 실행되면 사용자는 혼란스럽다. 스트리밍 응답의 끊김은 FID와 같다. 중간에 멈추면 신뢰가 깨진다.

기술 SEO가 LCP 2.5초를 목표로 최적화하듯, AI 에이전트도 first token latency를 SLA로 관리해야 한다. Core Web Vitals를 개선하는 방법(이미지 최적화, 코드 스플리팅, CDN)은 에이전트에도 동일한 원리로 적용된다 — 컨텍스트 최적화, 모델 캐싱, 엣지 추론.

구조화된 데이터 = 툴 정의

SEO에서 구조화된 데이터(스키마 마크업)는 검색 엔진이 페이지의 의미를 이해하도록 돕는다. “이건 상품 페이지야”, “이건 요리 레시피야”, “이건 이벤트야”라고 알려준다. JSON-LD 포맷으로 명세를 작성한다.

AI 에이전트의 툴 정의가 정확히 이 역할을 한다. JSON-LD = function calling 스키마. 구조화된 데이터가 검색 엔진에게 “이 페이지에는 이런 정보가 있다”고 알려주듯, 툴 정의는 LLM에게 “이 툴은 이런 파라미터를 받는다”고 알려준다.

재미있는 점: 둘 다 명세가 잘못되면 시스템이 이상하게 동작한다. 잘못된 스키마 마크업은 리치 결과에서 제외된다. 잘못된 툴 정의는 LLM이 엉뚱한 파라미터를 생성한다. 둘 다 명세의 정확성이 곧 품질이다.

사이트맵 = 에이전트 라우팅 테이블

XML 사이트맵은 검색 엔진에게 “이 사이트에는 이렇게 많은 페이지가 있고, 각각의 중요도와 갱신 주기는 이렇다”고 알려준다. 검색 엔진의 크롤링 예산을 효율적으로 배분하는 도구다.

AI 에이전트의 라우팅 테이블이 똑같은 일을 한다. “이런 요청은 이 에이전트 프로필로 보내고, 응답이 없으면 이렇게 폴백한다.” 사이트맵이 크롤러의 예산을 관리하듯, 라우팅은 에이전트의 컨텍스트 윈도우를 관리한다.

사이트맵에서 <priority>와 <changefreq>를 설정하듯, 라우팅에서는 우선순위 큐와 타임아웃을 설정한다. 핵심 툴은 높은 우선순위, 부가 기능은 낮은 우선순위.

robots.txt = 권한 제어

robots.txt는 검색 엔진에게 “이 경로는 크롤링하지 마”라고 지시한다. 관리자 페이지, 내부 검색 결과, API 엔드포인트. 단순하지만 강력한 접근 제어다.

AI 에이전트의 툴 권한 제어가 이에 대응된다. “이 툴은 admin만 실행 가능”, “이 데이터는 읽기 전용”, “이 API는 rate limit 적용”. Disallow 규칙 하나가 크롤러의 동작을 제한하듯, allow/deny 목록 하나가 에이전트의 툴 접근을 제한한다.

흥미롭게도, 두 시스템 모두 허용보다 차단이 먼저라는 설계 원칙을 공유한다. robots.txt가 기본적으로 모든 접근을 허용하고 필요한 것만 차단하는 것처럼, 에이전트 권한도 기본적으로 제한하고 필요한 것만 허용하는 게 안전하다.

404 처리 = 폴백 전략

SEO에서 404 페이지는 사용자 경험의 마지노선이다. 좋은 404는 사용자를 다른 페이지로 안내한다. 검색창, 추천 글, 홈으로 링크. 404를 어떻게 처리하느냐가 사이트의 품질을 결정한다.

AI 에이전트의 폴백 전략이 이와 같다. 툴 호출이 실패했을 때, LLM이 응답을 거절했을 때, 컨텍스트가 부족할 때. 좋은 폴백은 사용자를 다른 액션으로 안내한다. “이 질문에는 답할 수 없지만, 대신 이 기능을 써보세요.” 404 페이지를 무성의하게 띄우는 사이트는 신뢰를 잃듯, 무성의한 폴백 응답을 하는 에이전트도 신뢰를 잃는다.

정리

기술 SEO는 AI 에이전트 아키텍처의 베스트 프랙티스가 이미 오래전에 정리되어 있는 분야다. Core Web Vitals, 구조화된 데이터, 사이트맵, robots.txt, 404 처리. 이 다섯 가지 기술 SEO 개념을 에이전트 용어로 번역하면 바로 아키텍처 패턴이 된다.

이 시리즈의 다음 편에서는 On-Page SEO가 어떻게 프롬프트 엔지니어링의 원형인지 다룬다.