5초 늦은 경고는 사고다 — 당신의 에이전트는 몇 초까지 늦어도 되나

당신이 만드는 에이전트, 5초 늦어도 되는 일인가. 대부분의 업무 에이전트는 그렇다. 주간 보고서 요약이 5초 늦어도, 메일 분류가 5초 늦어도, 아무도 다치지 않는다. 그런데 지난 5월, Google DeepMind가 공개한 에이전트 하나는 이 질문에 ‘절대 아니다’라고 답했다. 시각장애·저시력(BLV) 러너가 사람 가이드나 바닥의 표시선 없이 달릴 수 있게 돕는 러닝 가이드 에이전트(Running Guide agent)가 그 주인공이다. 이 시스템에서 5초 늦은 경고는 성능 저하가 아니라 넘어짐이고, 부상이고, 트랙 밖 이탈이다.

에이전트 데모는 대개 가장 잘 되는 순간만 보여준다. 문제는 실전의 조건 — 지연(latency), 오판, 과신 — 을 데모가 숨긴다는 것이다. 러닝 가이드 에이전트가 두드러지는 이유는 그 조건을 숨기지 않고 구조로 답했다는 점이다. 그리고 그 구조는 ‘달리기’라는 도메인 너머로 옮겨갈 수 있는 설계 원칙을 담고 있다. 이 글은 발표 내용(외부 정보)과 거기서 끌어낸 원칙(필자 해석)을 구분해서 정리한다.

‘선을 따라가는 AI’에서 ‘장면을 이해하는 AI’로

이 섹션과 다음 섹션은 하베스터로 수집한 외부 정보(구글 공식 발표와 공식 영상)를 기준으로 작성했다. 세부 사실의 출처는 글 맨 끝 ‘근거 출처’에 정리했다.

2026년 5월 20일, Google 블로그를 통해 Robin Dua(플랫폼·디바이스, AI 혁신·리서치 선임 디렉터)와 Miguel de Andrés-Clavera(Google DeepMind 그룹 제품 매니저)는 “Running Guide agent: A step towards running unbounded”를 발표했다. 가슴에 장착한 Pixel 10 Pro 스마트폰이 앞길을 보고, 청각 피드백으로 주자를 안내하는 접근성 에이전트다. 발표문의 표현을 그대로 옮기면 “단순한 경로 추종(path-following)에서 고급 실시간 공간 추론(spatial reasoning)으로의 대약진”이고, 목표는 한 문장으로 압축된다: “모든 러너의 무보조 독립(unassisted independence for every runner)”.

이 에이전트는 하루아침에 나온 것이 아니다. 그 뿌리는 2020년 시작된 Google Research의 Project Guideline이다. 당시 Guiding Eyes for the Blind와 협력해, 바닥에 노란 선을 그리고 목에 건 스마트폰의 온디바이스 세그멘테이션 모델이 ‘선인지 아닌지’를 픽셀 단위로 분류해 골전도 헤드폰으로 방향·정지 신호를 보냈다. Guiding Eyes for the Blind의 CEO였던 토마스 파넥(Thomas Panek)은 이 시스템으로 수십 년 만에 처음으로 혼자 달렸고, 뉴욕 센트럴파크에서 무보조 5K를 완주했다. WHO 기준 시각장애·저시력 인구는 전 세계 약 2억 8,500만 명이다. 당시 기술 요구사항 — 초당 15프레임 이상 처리, 3시간 배터리, 오프라인 동작 — 은 그대로 ‘에이전트의 실시간성’에 대한 기준이 됐다.

Project Guideline을 착용한 주자가 노란 표시선을 따라 공원 길을 달리는 모습 — 바닥에 그려진 선을 온디바이스 모델이 추종하는 이전 세대 시스템의 시연 장면
출처: Google Research 블로그, “Project Guideline: Enabling Those with Low Vision to Run Independently” (2021) — 토마스 파넥이 Project Guideline으로 독립 러닝을 하는 장면. ‘선 따라가기’ 세대.

Project Guideline에는 ‘선’이라는 전제가 붙어 있었다. 트랙에 미리 표시선을 그려야만 동작했다. 러닝 가이드 에이전트의 전환점은 바로 그 전제를 지웠다는 것이다. 선을 따라가는 것이 아니라, 달리는 와중에 환경을 실시간으로 이해한다. 구글은 이것을 에이전트의 ‘새 장(new chapter)’을 보여주는 쇼케이스라고 부른다.

하이브리드 두 경로 — 안전은 ‘보장된 빠른 길’이 맡는다

고속 활동은 높은 신뢰를 요구한다. 그래서 구글은 하이브리드 이중 경로(hybrid, dual-path) 구조를 만들었다. 핵심 통찰은 한 문장이다: 실패 비용이 큰 판단과, 맥락이 필요한 판단은 서로 다른 경로가 맡아야 한다.

  • 온디바이스 세그멘테이션 — 안전의 뼈대. Pixel 10의 커스텀 실리콘에서 완전 오프라인으로 동작하는 모델이다. 초저지연 안전을 보장하며, 즉각적인 “STOP” 경고와 방향 신호(방향성 ‘틱’ 사운드)를 낸다. 셀룰러 연결이 없는 곳에서도 동작한다. ‘늦으면 안 되는’ 부분을 담당하는, 보장된 빠른 길이다.
  • Gemma 4의 추론 — 이해의 층. Gemma 4 E4B 모델이 이미지+텍스트 멀티모달 입력으로 고수준 장면 이해를 처리하고, 이것 역시 전부 온디바이스에서 일어난다. 지연시간을 낮추기 위해 스마트 프레임 선택(Smarter Frame Selection)을 쓴다. 모든 프레임을 처리하는 대신 ‘고엔트로피(high-entropy)’ 프레임 — 갑작스러운 지형 변화, 새 장애물 — 만 모델에 넣어, 더 빠르고 관련성 높은 코칭을 만든다.

두 경로는 한 에이전트 안에서 공존한다. LLM이 전부를 처리하는 구조가 아니라, “빠르고 반드시 맞아야 하는 부분”과 “맥락을 이해해야 하는 부분”을 분리해 각각에 맞는 모델을 배치했다. 이 ‘경로 분리’는 이 발표에서 가장 이식하기 쉬운 원칙이다.

러닝 가이드 에이전트의 하이브리드 구조 다이어그램 — 입력(비디오·오디오, Pixel 10 Pro)이 온디바이스 분석(세그멘테이션)과 에이전트(Planner·Coach·Break)로 흐른 뒤 출력(부분 오디오·음성 코칭)으로 이어지는 흐름도
출처: Google 블로그 (2026-05-20) — 입력(비디오·오디오) → 온디바이스 분석(세그멘테이션)과 에이전트(Planner·Coach·Break) → 출력(부분 오디오·음성 코칭)으로 이어지는 구조.

달리기는 ‘한 모델’이 아니라 세 에이전트의 분업이다

러닝 가이드 에이전트는 협력적 멀티 에이전트 프레임워크다. 역할이 다른 세 에이전트가 달리기의 시간축을 따라 나뉜다.

  • Planner 에이전트 (달리기 전) — Gemma 4의 함수 호출로 날씨와 Google Maps 데이터를 가져오고, 러너와 대화해 운동 목표를 세우고, ‘디지털 출발선’을 캘리브레이션한다.
  • Coach 에이전트 (달리는 중) — 간결한 전보식 음성 알림을 낸다. 피드백은 엄격한 위계로 분류된다: DANGER(즉시 회피 행동), WARNING(근처의 러너·장애물), NOTICE(다가오는 트랙 커브).
  • Break 에이전트 (휴식 사이) — 휴식 구간을 관리하고, 언제든 일시정지·재개를 지원한다.

세 에이전트보다 더 흥미로운 건 Coach의 경고 위계다. 모든 정보를 같은 크기로 말하면 진짜 위험이 묻힌다. 에이전트가 무엇을 말하고 무엇을 침묵하는지를 설계하는 것 — 불확실성 속에서 신뢰를 만드는 방식이 바로 이것이다.

하드웨어도 진화하고 있다. 구글은 이 시스템을 지능형 안경(intelligent eyewear)으로 프로토타이핑 중이다. 안경은 더 넓고 안정적인 시야를 제공해 멀티모달 모델에 들어가는 데이터를 ‘대폭 최적화’하고, 안경의 영상은 Pixel 기기로 직접 스트리밍된다. 실제 사용자와 함께 만들기 위해 싱가포르의 장애·포용 분야 핵심 기관인 SG Enable과 파트너십을 맺어, BLV 러너들과 실전 테스트를 반복하고 있다.

공식 시연 영상(2026-05-19, 1분 50초)의 안내 음성은 이렇게 들린다. “왼쪽에 체육관 장비가 있어요. 지금 트랙에 머무르세요. 좌회전입니다.” 그리고 영상의 마지막 문장은 이 발표의 방향을 압축한다: “이건 단순히 새로운 달리기 방식이 아니다. 진짜 웨어러블 자율성(wearable autonomy)을 향한 거대한 도약이다.”

러닝 가이드 에이전트를 착용한 주자가 트랙을 달리는 공식 시연 영상의 한 장면 — 가슴에 장착한 Pixel과 청각 피드백으로 달리는 모습
출처: Google 공식 YouTube, “Running guide agent: A step towards running unbounded” (2026-05-19) — Gemma 4가 주변을 이해하고 코치처럼 실시간 안내를 주는 시연.

한계도 분명하다. 이 발표는 연구·프로토타입 단계의 공개이며, 일반 사용자용 출시 발표가 아니다. 해외 매체 분석은 비·조명·혼잡·공사 현장에서의 강건성(robustness)이 아직 검증되지 않았다고 지적한다. 이 에이전트는 안전한 길과 인간 가이드를 대체하는 것이 아니라, ‘보조’를 다른 차원으로 옮기는 것이다.

이 데모가 빌더에게 남긴 세 가지 — 필자의 해석

이 섹션은 필자의 해석이다. 외부 사실은 앞선 섹션들(외부 정보)에 근거하며, 여기서는 그 사실에서 끌어낸, 어떤 에이전트 작업에든 옮겨갈 수 있는 설계 원칙을 정리한다.

  1. ‘이해하는 길’과 ‘보장된 빠른 길’을 분리하라. 대부분의 에이전트는 모든 판단을 LLM 한 곳으로 보낸다. 러닝 가이드 에이전트는 정반대로, 지연시간이 허용되지 않는 판단은 경량 모델(세그멘테이션)이, 맥락이 필요한 판단만 LLM(Gemma 4)이 맡았다. 에이전트에 반복 업무를 위임하면서 가장 자주 부딪히는 병목은 ‘모델이 느리다’는 것이다. “절대 틀리면 안 되고 빨라야 하는 판단”과 “맥락을 이해해야 하는 판단”을 나누는 것만으로 대기 시간과 비용이 줄어든다.
  2. 모든 프레임을 모델에 넣지 마라 — 고엔트로피만. Smarter Frame Selection은 ‘입력을 덜 넣는 것이 더 나은 결과를 만든다’는 반직관을 구현했다. 정보가 급변하는 순간(지형 변화, 새 장애물)만 골라 넣으니 지연시간은 낮아지고 관련성은 올라갔다. 프롬프트에 재료를 최대한 넣는 습관과 반대 방향이지만, ‘무엇을 생략할지’가 출력 품질을 결정한다는 점에서 나도 프롬프트를 줄여가며 비슷한 경험을 해본 적이 있다. 에이전트 입력도 ‘엔트로피가 높은 것’만 골라보라. 전체 히스토리 대신 ‘바뀐 것’만.
  3. 경고에 위계를 설계하라 — 침묵도 설계다. DANGER/WARNING/NOTICE는 세 단계의 볼륨 조절이다. 모든 알림을 같은 크기로 보내면 진짜 위험이 묻힌다. 에이전트 출력을 ‘그냥 알림’ 하나로 만들지 말고 위급도 순으로 3단계를 정하고, ‘말하지 않는 것’도 정하라. 오판 가능성이 높은 판단은 더 낮은 단계로 내리거나 침묵하게. 외부 분석이 정확히 이 점을 짚는다: “늦거나, 모호하거나, 과신하면 나쁜 답변이 아니라 위험을 만든다.”

보너스 원칙이 하나 더 있다. 온디바이스 = 프라이버시와 가용성이다. 카메라 영상이 클라우드로 나가지 않고, 셀룰러가 없는 곳에서도 동작한다는 것은 ‘개인 데이터를 취급하는 에이전트’에 그대로 옮겨갈 조건이다. 민감한 입력을 다루는 작업이라면 ‘네트워크 없이도 동작하는 로컬 경로’를 만드는 것이 기능이 아니라 요건이다.

이번 주, 반복 업무 하나에 ‘가이드 에이전트’를 설계해보라

이 글에서 얻을 것은 더 많은 기능 설명이 아니라 실행 지침이다. 반복 업무 하나를 골라 다음 네 단계를 적용해보라. (1) 그 업무에서 ‘반드시 빠르고 정확해야 하는 판단’과 ‘맥락이 필요한 판단’을 나눈다. (2) 전자는 규칙이나 온디바이스 경량 모델로, 후자만 LLM에 맡긴다. (3) 모델에 넣을 입력을 ‘바뀐 것만’으로 줄인다. (4) 출력을 위급도 3단계로 나누고, 말하지 않아도 될 것을 정한다.

선택할 수 있다면 Gemma 4 E4B 같은 온디바이스 모델을 직접 돌려보라. 구글은 이 모델을 Hugging Face에 공개했다. ‘늦으면 안 되는 작업’이 무엇인지 안다면, 에이전트 설계는 이제 “어떤 모델이 더 똑똑한가”가 아니라 “어떤 판단을 어느 경로에 배치할 것인가”의 문제다. 이 원칙을 적용해보거나, 직접 따라 만들어봤다면 어떤 작업에 적용했고 무엇이 바뀌었는지 댓글로 알려달라.

근거 출처

외부 정보 (하베스터 수집)

  • Google 블로그 (2026-05-20), Robin Dua·Miguel de Andrés-Clavera, “Running Guide agent: A step towards running unbounded” — 가슴 장착 Pixel 10 Pro, 하이브리드 이중 경로 구조(온디바이스 세그멘테이션·Gemma 4 E4B), Smarter Frame Selection과 ‘고엔트로피 프레임’, Planner/Coach/Break 멀티 에이전트와 DANGER/WARNING/NOTICE 위계, 지능형 안경 프로토타입, SG Enable 파트너십, “unassisted independence for every runner”·”zero-latency edge computing과 deep-world understanding의 결합” 표현.
  • Google 공식 YouTube (2026-05-19), “Running guide agent: A step towards running unbounded” (1:50) — Gemma 4 기반 실시간 코칭 시연, “massive leap toward true wearable autonomy” 발언, “왼쪽 체육관 장비” 등 안내 음성 예시.
  • Google Research 블로그 (2021-05-18), “Project Guideline: Enabling Those with Low Vision to Run Independently” — WHO 기준 2억 8,500만 명, 토마스 파넥의 센트럴파크 무보조 5K, 온디바이스 선 세그멘테이션(DeepLabv3·MobileNetV3), 초당 15프레임·3시간 배터리·오프라인 요건, 99.5% 프레임 성공률·93% mIoU.
  • 외부 분석 — thelgtm.dev, “Running Guide Agent Is the Local AI Story Hidden Inside an Accessibility Demo”(“늦거나, 모호하거나, 과신하면 나쁜 답변이 아니라 위험을 만든다”), cyber-ivy.com (2026-05-20)(비·조명·혼잡·공사 현장 강건성 미검증 등 한계 지적).
  • 본문의 이미지 3장(Project Guideline 시연 장면, 아키텍처 다이어그램, 공식 시연 영상 썸네일)은 위 공식 출처에서 핫링크했다.

상호작용 (에이전트-드루 대화·작업)

  • 필자의 에이전트 하네스 작업 경험 — 반복 업무(메일 분류, 스레드 감시, 리서치 요약)를 에이전트에 위임하면서 ‘지연시간’과 ‘과신’이 반복 병목이었다는 관찰, 프롬프트 입력을 줄일수록 출력 품질이 오른 경험.
  • ‘이 데모가 빌더에게 남긴 세 가지’ 원칙과 네 단계 CTA는 필자가 외부 정보에서 끌어낸 해석이며, 이 글의 작성 과정에서 정리됐다.
  • 외부 통계·성능 수치는 위 외부 정보 출처에 근거하며, 필자가 러닝 가이드 에이전트를 직접 실행해 측정한 수치는 포함하지 않았다.