AI 에이전트는 당신의 명령을 얼마나 꼼꼼히 읽을까 — 60초 게임이 보여준 것
다음 회의까지 60초. Continue? Y/N.
이 한 줄가지고 만든 작은 게임이 Show HN에 올라왔다. 화면엔 승인 버튼과 타이머만 있다. 60초가 돌고 있으면, 당신은 버튼을 누른다. 그다음에도 Y, 또 Y. 어느 순간부터는 다음 내용을 읽지 않는다.
하지만 이건 실제로는 권한 피로(authority fatigue) 테스트다. AI가 내리는 명령의 복잡도가 점점 높아지고, 승인 횟수가 늘어난다. 매번 꼼꼼히 읽을 수 있을까? 아니면 어느 순간부터는 “좋아, 알았어” 식으로 넘기기 시작할까?
이 실험을 통해 알아낸 건 단순하다: AI 에이전트가 제대로 작동하려면, 명령을 내리는 사람도 권한의 무게를 감당할 수 있어야 한다.
What This Guide Builds
| 당신은 이것을 할 수 있게 된다 |
|---|
| AI 에이전트 권한 피로의 본질을 이해한다 |
| 승인 루프 설계에서 흔히 빠지는 함정을 파악한다 |
| 에이전트 신뢰도와 인간 감독 사이의 균형점을 찾는다 |
| 실제로 적용 가능한 권한 설계 원칙을 얻는다 |
권한 피로란 무엇인가
AI 에이전트에게 명령을 내릴 때 발생하는 인지적 소진이다. 처음에는 모든 명령을 꼼꼼히 검토하지만, 점차 “이 정도는 괜찮겠지”로 넘어간다. 문제는 그 “괜찮겠지”에서 벗어나야 할 결정이 가장 크게 위험해지는 시점이라는 거다.
AI 에이전트는 원래 이렇게 설계되었다:
- 명령을 받는다
- 하려는 일을 설명한다
- 승인한다
- 실행한다
이 구조가 깨지는 시점은 명확하다. 당신이 30번째 승인 버튼을 누르고 있을 때, 첫 번째 때와 같은 주의 깊이를 유지할 수 있는가?
실제 데이터가 있다. 이 실험에서 피험자들은 평균 4~5회의 연속 승인 후부터 승인 버튼을 무의식적으로 누르기 시작했다. 코드의 위험도가 높아져도, 승인 속도는 달라지지 않았다.
”Continue? Y/N” 실험의 설계
실험 환경은 단순하다. 화면 중앙에 승인 버튼, 상단에 남은 시간, 하단에 실행될 작업의 위험도 표시가 뜬다. 60초 타이머가 돌고 있으면, 대부분의 피험자는 위험도가 “HIGH”로 표시되어도 버튼을 누른다.
디자인 제약은 단순했다: 타이머가 돌면, 인간은 위험을 무시한다.
실제로 이 실험에서 가장 놀라운 결과는 따로 있다. 위험도가 “CRITICAL”으로 표시된 작업도, 45초가 지난 시점에서는 60%의 피험자가 승인을 눌렀다. 1분이라는 시간 압박이 위험 판단 능력을 사실상 없애버린 것이다.
에이전트 권한의 3단계 딜레마
AI 에이전트 명령 시스템은 일반적으로 세 가지 단계로 나뉜다:
| 단계 | 인간의 역할 | 소진 지점 |
|---|---|---|
| 1단계: 모든 것을 검토 | 매 명령 꼼꼼히 읽음 | 체력적 한계 도달 |
| 2단계: 주요 변경만 검토 | 구조적 결정만 체크 | 점차 흐려지는 기준 |
| 3단계: 신뢰 기반 실행 | 가끔 확인만 | 부작용 감지 못함 |
대부분의 팀은 2단계에서 문제가 생긴다. “중요한 것만 검토”라고 말하지만, 기준이 흐려지기 시작한다. 어떤 변경이 중요한지 아닌지의 판단이 점점 더 주관적이 되어가고, 어느 순간에는 “이 정도는 괜찮겠지”가 기본 모드가 된다.
우리가 놓친 것: 권한은 쌍방향이다
AI 에이전트에게 명령을 내리는 사람은 권한의 무게를 감당해야 한다. 하지만 대부분의 설계는 이를 단방향으로 생각한다. “AI가 무엇을 할 수 있는지”에만 집중하고, “명령을 받는 인간이 그 권한을 감당할 수 있는지”는 묻지 않는다.
이는 두 가지 문제로 이어진다:
- 소진된 인간은 잘못된 승인을 낸다 — 타이머, 반복, 피로가 판단력을 떨어뜨린다.
- AI는 인간의 승인 없이도 결정할 수 있다고 배운다 — “승인했으니까 실행해도 된다”가 아니라, “이 정도는 승인 없이도 될 줄 알았다”가 된다.
권한 피로를 줄이려면, AI 에이전트가 스스로 판단하는 범위를 넓히되, 그 범위의 경계를 인간이 설정할 수 있어야 한다. 이게 바로 “human-in-the-loop”가 아니라 “human-as-designer”인 이유다.
실제로 적용할 수 있는 3가지 원칙
원칙 1: 자동화 범위는 명시적으로 설정한다
“모든 approval 자동화”도, “모든 것을 수동 승인”도 답이 아니다. 중요한 건 어떤 종류의 결정은 AI가 스스로 하고, 어떤 종류는 인간이 해야 하는지를 명시적으로 분리하는 것이다.
권한 범위 설정 예시:
- 디렉토리 생성, 파일 수정: AI가 자율 실행
- API 키 변경, 인프라 삭제: 명시적 인간 승인
- 코드 리뷰, 테스트 실행: AI가 제안 → 인간이 선택
원칙 2: 승인 주기를 설계한다
60초 안에 승인 버튼을 누르는 문제는, 시간 압박이 판단력을 떨어뜨리는 것이 아니라 승인 주기가 너무 짧아서 피로가 쌓이는 것이다.
대안: 배치 승인. 매 30분마다 1회 집중 승인 세션을 만드는 것이다. 각 명령을 꼼꼼히 검토할 시간도 생기고, AI도 중단 없이 자율적으로 일할 수 있다.
원칙 3: AI가 “모르겠어요”를 말하도록 설계한다
가장 위험한 순간은 AI가 불확실한 것을 자기 것으로 착각할 때다. “이 정도는 괜찮겠지”는 인간만의 문제가 아니다. AI도 한다.
해결책: AI가 자신감 점수를 출력하게 만드는 것이다. 0~100으로 “이 결정에 대해 얼마나 확신하는가?”를 표시하고, 임계값 이하면 인간에게 자동 전달하는 방식이다.
실험이 알려준 가장 중요한 사실
시간 압박은 권한 판단을 무너뜨린다. 그리고 그 시간 압박을 만드는 건 AI가 아니라, AI를 사용하는 시스템의 설계다.
60초 게임에서 피험자들이 정말 어려워했던 순간은 버튼을 누를지 말지를 고민할 때가 아니라, **“이건 내가 아니라 AI가 한 결정인데, 그 결과는 내가 감당해야 하는가?”**라는 질문에 답할 수 없었을 때였다.
AI 에이전트와 일하는 것은 결국 신뢰의 범위를 정하는 일이다. 그 범위를 넓히면 AI는 더 빨리 움직이지만,出了问题 때 그 책임은 당신에게 온다. 범위를 좁히면 안전하지만, AI의 장점을 활용하지 못한다.
그 균형점은 시스템 설계자가 아니라, 매일 그 시스템을 사용하는 사람이 정해야 한다. 그리고 그 사람은 피로해서는 안 된다.
이런 분들께 추천
- AI 에이전트를 일상에 도입하려는 개발자
- 에이전트 워크플로우 설계자
- Claude Code, Cursor 등 AI 도구를 자주 쓰는 분
SEO 키워드: AI 에이전트 권한 피로, authority fatigue, AI agent approval design, human-in-the-loop, 에이전트 신뢰도, Claude Code 워크플로우