AI 에이전트의 실패는 "작동이 멈추는 것"이 아니다. 대부분의 경우 에이전트는 계속 작동하면서 틀린 방향으로 결과를 만들어낸다. 이것이 더 까다로운 이유다. Jurin을 약 3개월간 실운영하면서 에이전트가 실제로 잘못 처리한 사례 3가지를 기록한다. 각 사례마다 원인, 그때의 대응, 이후 구조를 어떻게 바꿨는지를 함께 정리한다.
승인 없이 외부로 발송된 경우, 원인은 무엇이었나
Jurin에는 SNS 콘텐츠를 작성하고 발행하는 파이프라인이 있다. 초기에는 발행 전 사람이 검토하는 승인 단계를 에이전트 지침에 명확하게 분리하지 않았다. 에이전트는 콘텐츠를 작성한 뒤 검토 대기 상태로 두어야 했지만, 한 번은 발행까지 이어진 일이 발생했다.
원인은 지시어의 모호함이었다. "콘텐츠를 작성하고 준비하라"는 지시에서 에이전트는 "준비"를 "발행 완료" 상태로 해석했다. 에이전트가 규칙을 어긴 것이 아니라, 규칙이 명확하지 않았던 것이다.
그때의 대응: 발행된 콘텐츠를 즉시 삭제 요청했다. 이후 에이전트 지침에 "발행은 반드시 별도의 승인 절차를 통해서만 실행한다"는 항목을 한 줄로 명시했다.
구조 변경: 에이전트가 실행할 수 있는 행동과 반드시 사람이 검토해야 하는 행동을 표 형식으로 분리했다. 외부 발송, 삭제, 금액 관련 행동은 전부 승인 필수 범주로 고정했다. 이 변경 이후 약 2개월간 무단 발송 사례는 0건이다.
긴 세션에서 방향을 잃는 경우, 어떤 신호가 있나
블로그 콘텐츠를 주 5편씩 자동 작성하는 세션에서 발생한 사례다. 에이전트가 기획서의 타겟 독자 설정을 반영하지 않은 채 글을 완성해 저장했다. 글의 구조와 문장은 완성도가 있었지만, 의도한 독자와 맞지 않는 톤으로 작성되었다.
분석한 원인: 세션이 길어지면서 초기에 주입한 기획서 내용이 컨텍스트 창 뒤로 밀렸다. 에이전트는 가장 최근에 처리한 내용 기준으로 방향을 재설정했고, 그 결과 기획 의도에서 벗어난 글이 나왔다.
그때의 대응: 저장된 글을 삭제하고, 새 세션을 시작하면서 기획서 요약만 재주입해 재작성했다. 재작성 결과물은 기준을 충족했다. 재작성에 걸린 추가 시간은 약 15분이었다.
구조 변경: 긴 작업 세션을 시작할 때 기획서의 타겟 독자와 톤 설정을 세션 첫 줄에 반드시 포함하도록 지침을 수정했다. 또한 작성 완료 전에 기획 방향 부합 여부를 자가 점검하는 체크 항목을 추가했다. 이 구조 변경 이후 6주간 동일 유형의 방향 이탈은 발생하지 않았다.
도구 호출이 실패해도 조용히 넘어가는 이유는 무엇인가
Jurin이 외부 API를 통해 데이터를 불러오는 작업 중 API 오류가 발생했다. 에이전트는 오류를 인식했지만, 별도의 알림 없이 작업을 완료로 처리했다. 결과를 사람이 직접 확인하기 전까지 실패 사실을 알 방법이 없었다.
원인: 에이전트 지침에 실패 시 보고하는 항목이 없었다. 에이전트는 작업 완료 여부만 판단했고, 결과물의 유효성을 검증하는 절차가 따로 없었다.
그때의 대응: 하루 뒤 직접 결과를 확인하다가 데이터가 비어 있는 것을 발견했다. 작업을 수동으로 재실행하고, 그날 기준으로 누락된 데이터를 별도로 보완했다.
구조 변경: 도구 호출 결과가 비어 있거나 오류 코드가 반환될 경우 즉시 알림을 보내도록 처리 흐름에 조건을 추가했다. "실패하면 보고한다"가 지침에 명시된 이후 조용한 실패는 재발하지 않았다.
세 가지 사례에서 공통으로 발견한 패턴은 무엇인가
세 가지 실패는 각각 다른 상황에서 발생했지만 공통된 구조를 가지고 있다.
첫 번째는 지시어의 해석 여지다. "준비하라", "완료하라"처럼 기준이 없는 단어는 에이전트가 자의로 판단한다. 지시어를 좁힐수록 실패 범위도 좁아진다.
두 번째는 컨텍스트 관리 부재다. 세션이 길어질수록 초기 지시의 영향력이 줄어든다. 중요한 기준은 세션 시작 시 명시하고, 긴 작업에서는 중간 점검 구조를 넣는 것이 효과적이다.
세 번째는 실패 감지 부재다. 에이전트는 실패를 스스로 드러내지 않는다. "실패하면 알려라"는 지침이 없으면 에이전트는 완료로 처리하고 넘어간다.
AI 에이전트는 규칙을 어기는 것이 아니라, 규칙이 없는 곳에서 스스로 판단한다. 실패가 발생한 위치는 거의 항상 규칙이 비어 있던 자리였다. 운영 3개월 기준으로 구조를 바꾼 뒤 동일 유형의 반복 실패는 직접 측정 결과 0건이다.