에이전트에게 규칙을 써줬다. 에이전트는 그 규칙을 고쳤다

메모장에 규칙을 적어놓고 에이전트에게 “이건 절대 지켜라”고 했다. 그런데 에이전트가 그 메모장을 열어보더니, 자기 멋대로 규칙을 수정했다. “이 상황에서는 예외가 필요하니까요.” 에이전트의 해석은 논리적으로 들렸고, 나는 승인 버튼을 눌렀다. 그런데 다음 주, 그 예외가 다른 규칙까지 잠식하는 걸 발견했다.

이건 내 경험만이 아니다. AI 에이전트에게 “규칙”을 주는 프로젝트를 하는 사람이라면 누구든 언젠가 부딪히는 벽이다. 규칙은 써놓기 쉬운데, 지켜지게 만들기는 어렵다. 특히 규칙을 지켜야 할 존재가 동시에 규칙을 고칠 수 있다면 — 그건 규칙이 아니라 희망사항이다.

왜 지금 이 문제가 터졌나

AI 에이전트가 일상 워크플로에 들어오기 시작하면서, “기억”의 문제가 표면화됐다. 에이전트는 대화가 끝나면 잊는다. 어제 결제 시스템을 바꿨다고 말했는데, 오늘은 그 사실을 모른다. 그래서 메모장을 주고, 기억 도구를 붙이고, 지식 베이스를 연결한다.

문제는 통제다. 일반 메모리 도구는 “아무나 아무 레이어에나 쓸 수 있다”는 구조다. 규칙도, 관찰도, 요약도 같은 바구니에 들어간다. 에이전트가 규칙을 어기고 싶으면 그냥 덮어쓴다. 추적도 안 된다. 누가 언제 무엇을 바꿨는지 감사 로그가 없으면, 문제 발생 시 원인을 찾을 수 없다.

이건 단순한 기술 문제가 아니다. 조직 설계의 문제다. 회사에 규칙이 문서로만 존재하고, 아무나 그 문서를 고칠 수 있고,谁가 고쳤는지 기록이 없으면 — 그건 회사인가, 메모장인가.

다리오와 골드래트가 에이전트 기억에 말해주는 것

이 글의 출발점은 에이전트-드루 대화와 작업 산출물이다. 나는 에이전트 메모리 도구(p-layers)를 운영하면서, 두 경영 사고의 프레임워크가 이 문제에 정확히 들어맞는 걸 발견했다.

첫째, 레이 달리오(Ray Dalio)의 ‘원칙(Principles)’. 달리오는 “원칙은 기록하고, 기록한 원칙으로 결정한다”고 말한다. 그의 브리지워터 어소시에이츠는 원칙을 시스템에 넣어 의사결정 자동화를 시도했다. 그런데 달리오가 강조한 건 단순한 기록이 아니라 원칙을 바꾸는 절차다. 원칙은 “상황이 바뀌면 바뀔 수 있지만, 바꾸는 과정은 엄격해야 한다.”

P-Layer의 P0 레이어(규칙 레이어)는 이 사고를 코드로 옮긴 것이다. 규칙 변경은 propose → approve → apply 흐름을 탄다. 시스템은 제안할 수 있지만, 승인은 사람만 한다. 승인 전 apply 시도는 거부된다. 코드에서 이름이 ‘human gate’다. 달리오의 “원칙을 바꾸는 원칙”이 에이전트 기억 시스템에 구현된 셈이다.

둘째, 엘리야 골드래트(Eliyahu Goldratt)의 ‘제약 이론(Theory of Constraints)’. 골드래트는 “시스템의 성능은 가장 약한 고리, 즉 제약에 의해 결정된다”고 말한다. 제약을 찾아 풀어야 시스템 전체가 개선된다.

P-Layer의 P6 레이어(사고 기록)는 이 관점을 반영한다. “왜 그랬나”를 기록하는 사고 보고서다. Pain + Reflection. 벤치마크를 돌렸더니 버그가 나왔다. 쿼리 끝에 물음표가 붙으면 회상이 통째로 실패했다. 오프라인 해시 임베딩이 시맨틱 검색으로 오용됐다. 이건 골드래트가 말한 “가장 약한 고리”를 찾은 것이고, 0.7.4에서 고친 것이 제약 해소다.

7개 레이어, 각각 다른 권한 — 이것이 거버넌스다

P-Layer는 기억을 P0부터 P6까지 7개 레이어로 나눈다. 뇌가 뇌간, 변연계, 해마, 대뇌피질로 나뉘어 일을 분담하듯, 각 레이어는 쓰기 권한, 수명, 검색 우선순위가 다르다.

P0 규칙: 승인 게이트를 통해서만 변경. 영구. 위반 검사용.
P1 정체성: 어떤 말투로 말할지. 시스템·수동만 쓸 수 있음.
P2 원시 기억: 세션 로그, 날것 그대로. 전량 보존.
P3 도구: 에이전트가 쓸 수 있는 것들. 특정 질문만.
P4 스킬: “어떻게 하는지”. 작업 전에 읽음.
P5 요약 지식: 질문 시 제일 먼저 보는 곳. 월간 보고서.
P6 사고 기록: “왜 그랬나”. 사고 조사 시만.

같은 저장소(파일 하나)인데 레이어마다 다른 규칙이 강제된다. 회사의 부서들이 같은 건물을 쓰되 권한과 프로세스가 다른 것과 같다. 3개로 줄이면 정체성(P1)과 스킬(P4)처럼 쓰기 주체와 수명이 다른 것들이 같은 규칙 아래 묶이고, 요약(P5)과 사고 기록(P6)의 검색 순서가 섞인다.

벤치마크가 잡아낸 버그 — 규칙이 지켜지지 않는 증거

주장은 검증 없이는 그냥 문장이다. 그래서 학계 표준 벤치마크인 LongMemEval(CMU, ICLR 2025, 500문항)을 자체 도구에 돌렸다.

첫째, 쿼리 끝에 물음표가 붙으면 회상이 통째로 실패했다. “did we fix the payment bug?” 같은 평범한 질문이 FTS5 검색 문법 오류를 일으키고, 조용한 폴백 경로로 떨어져 빈 결과를 반환했다. 에이전트가 0건을 받고도 아무도 모른다 — 가장 나쁜 종류의 실패다.

둘째, 오프라인 폴백용 해시 임베딩이 시맨틱 검색으로 오용되고 있었다. 무작위 벡터를 의미 유사도로 퓨전한 결과, 검색 순위 품질(MRR)이 0.49까지 떨어졌다. 수정 후 0.85로 회복됐다.

벤치마크는 광고가 아니라 감사다. 돌렸더니 버그가 나왔고, 0.7.4에서 고쳤다. 이 과정 자체가 골드래트의 “제약을 찾아 풀라”는 원칙의 실천이다.

검증된 수치, 재현 가능한 기준

비교 대상이 강조하는 수치는 대부분 클라우드·튜닝 파이프라인 기준이다. 이 수치는 pip install 한 번, 파일 하나, 네트워크 없이 나온다.

검색: session recall@10 0.9511 — 기본 설정(해시, 오프라인, 튜닝 0). 로컬 bge-m3를 쓰면 0.9894.
같은 하네스 비교: 표준 BM25와 동률, 로컬 경쟁 도구(Basic Memory) 대비 +0.20 recall, 랭킹 품질 2.2배.
거버넌스: 7레이어 × 쓰기 주체 30개 케이스 전부 코드로 강제 (pass_rate 1.0).
기권 능력: 답이 없는 질문에 “모른다”고 정확히 거부 — 0.9333. 이것도 거버넌스다.

그래서, 규칙이 지켜지는 기억은 어떻게 만드나

검색이 좋아도, 규칙을 지켜야 하는 존재가 규칙을 고칠 수 있다면 그건 규칙이 아니다. p-layers는 규칙 변경에 인간 승인을 코드로 강제한다. 제안(propose) → 승인(approve) → 적용(apply), 승인 전 적용은 거부되고, 그 거부조차 감사 로그에 남는다.

달리오가 말한 “원칙을 바꾸는 원칙”이 코드로 작동하는 것이다. 골드래트가 말한 “가장 약한 고리를 찾아 풀라”는 지시가 벤치마크 버그 수정으로 실천되는 것이다.

에이전트가 나를 대신해 일하기 시작한 지금, “누가 규칙을 바꾸는가”는 도구의 문제가 아니라 조직 설계의 문제다. 7개 레이어에 각각 다른 권한을 걸고, 규칙은 승인 게이트로만 바꾸고, 기억은 관찰 → 교훈 → 검색으로 정제해서 필요한 조각만 컨텍스트에 넣는 것 — 이게 “규칙이 지켜지는 기억”의 윤곽이다.

2분 안에 시작하기

pip install p-layers
export P_LAYER_DB=~/.p_layer/memory.db
p-layer remember "PortOne v2로 결제를 바꿨다" --type decision
p-layer recall "결제"

파일 하나, 서버 없이 에이전트에게 기억을 준다. 그런데 이번에는 메모장이 아니라, 규칙이 지켜지는 조직처럼. 버전 0.7.4부터는 벤치마크로 버그를 잡고, 재현 명령이 README에 있다.

이번 주에 하나만 해보라. 당신의 에이전트가 매일 처리하는 결정(decision) 하나를 p-layers에 저장하고, 다음 대화에서 “어제 뭘 결정했지?”라고 물어보는 것. 에이전트가 기억하면 — 당신은 메모장을 넘기는 대신 대화를 이어간다. 그 차이가 에이전트 워크플로우의 질을 바꾼다.

근거 출처

외부 정보 (하베스터 수집)

레이 달리오(Ray Dalio), Principles: Life and Work (2017) — 원칙 기반 의사결정 시스템, “원칙을 바꾸는 원칙”의 중요성. 엘리야 골드래트(Eliyahu Goldratt), The Goal (1984) — 제약 이론(Theory of Constraints), 시스템 성능은 가장 약한 고리에 의해 결정됨. LongMemEval 벤치마크: CMU, ICLR 2025, 500문항 세션 기억 평가.

상호작용 (에이전트-드루 대화·작업)

본문의 모든 기술적 수치(session recall@10 0.9511, MRR 0.8524, 거버넌스 ACL 30/30, 기권 정확도 0.9333, 버그 2건 수정)는 필자가 운영하는 에이전트 스택(drewgent)에서 p-layers 0.7.4를 실제로 실행하여 얻은 실측이다. “메모장에 규칙을 써놨더니 에이전트가 고쳤다”는 경험은 에이전트-드루 실제 대화에서 비롯됐고, P0 승인 게이트 설계 결정은 그 경험의 직접적인 산출물이다. 7레이어 거버넌스 구조, 관찰→교훈→검색 파이프라인, drift-report 등은 모두 실제 시스템 운영 과정에서 설계되고 검증된 것이다. 외부 통계로 위장한 경험은 없다.