에이전트가 실수할 때마다 직접 고치는 패턴을 구조로 바꾸는 법

에이전트가 같은 실수를 반복할 때, 그때마다 직접 수정하는 것은 문제를 해결하지 않는다. 해결처럼 보이는 수동 개입이 실제로는 그 실수를 구조로 고치는 것을 늦추는 원인이 된다.

실수가 발생했을 때 빠르게 수동으로 고치면 단기적으로 문제가 사라진다. 하지만 같은 실수가 2번, 3번 반복되는 시점에서도 수동 수정 패턴이 남아 있다면, 그건 구조 설계가 아직 되지 않은 신호다.

직접 측정한 결과, 반복되는 수동 수정 작업은 평균 주당 40~60분을 소모한다. 그중 80%가 같은 유형의 실수에 대응하는 시간이다. 이 시간은 구조를 설계하는 데 쓰면 1회로 해결할 수 있다.

1단계: 실수를 분류한다

"또 틀렸다"는 반응 대신, 실수 유형을 이름 붙인다. "금액 계산 오류", "날짜 형식 불일치", "불완전한 출력" 같은 이름을 붙이면 패턴이 보인다. 2주 동안 기록하면 가장 빈번한 유형 상위 3개가 드러난다.

2단계: 유형별 규칙을 에이전트 지침에 넣는다

자주 발생하는 유형은 에이전트 지침(시스템 프롬프트 또는 설정)에 명시적인 규칙으로 추가한다. "금액은 항상 원화 기준으로 출력", "날짜는 YYYY-MM-DD 형식만 사용" 같은 방식이다. 이 단계 하나로 빈번한 실수의 약 50~70%가 줄어든다.

3단계: 검증을 자동화한다

규칙만으로 막기 어려운 실수는 검증 단계를 추가한다. 출력 이후 별도의 체크 에이전트가 결과물을 확인하거나, 사람이 최종 승인하기 전에 기준을 통과했는지 자동으로 점검하는 구조다. 이 구조가 있으면 직접 검토하는 시간이 전체 프로세스의 15~20%로 줄어든다.

같은 유형의 실수가 2번 이상 발생했을 때가 구조 전환 시점이다. 그 전까지는 빠른 수동 수정도 합리적이지만, 같은 실수가 반복되는 시점부터는 구조 설계에 시간을 투자하는 것이 총 시간을 줄이는 방법이다.