AI 개입 포인트 설계는 "이 작업은 자동이다, 이 작업은 수동이다"라는 이분법이 아니다. "이 조건이 충족되면 사람이 개입한다"는 규칙 집합이다.
이분법으로 설계하면 경계에 걸쳐 있는 작업이 생긴다. 규칙 집합으로 설계하면 경계가 명확해지고 예외 상황도 처리 가능해진다.
3개월간 AI 비서 시스템을 운영하면서 초기 설계의 이분법을 버리고 조건 기반 설계로 전환하는 데 약 6주가 걸렸다. 그 과정에서 발견한 원칙을 누구나 적용 가능한 형태로 정리한다.
자동 실행 조건과 사람 개입 조건을 어떻게 구분하는가
자동 실행이 가능한 조건은 세 가지가 동시에 충족될 때다.
첫째, 결과가 외부에 노출되지 않는다. 내부 정리, 데이터 수집, 요약 생성처럼 내부에서만 소비되는 작업은 자동으로 실행해도 된다.
둘째, 오류가 발생해도 원상 복구가 가능하다. 파일 정리, 태그 분류, 일정 리마인드처럼 실수를 되돌릴 수 있는 작업이다.
셋째, 결과를 사람이 주기적으로 확인한다. 완전 자동이라도 주 1회 이상 사람이 결과물을 훑어보는 구조가 있어야 한다.
이 세 가지 중 하나라도 충족되지 않으면 사람 개입 조건을 추가한다.
개입 포인트를 어디에 배치해야 하는가
개입 포인트는 작업의 끝이 아니라 분기점에 배치한다.
작업이 완료된 후에 사람이 검토하는 구조는 비효율적이다. 전체 결과물을 검토하는 비용이 크고, 이미 잘못된 방향으로 진행된 작업을 되돌리는 비용도 크다.
대신 작업 흐름 중 결정이 분기되는 지점에 개입 포인트를 넣는다. 예를 들어, 메일 초안 작성은 자동으로 진행하고 "발송할 것인가"를 결정하는 순간에 사람이 개입한다. 블로그 글 작성은 자동으로 진행하고 "발행할 것인가"를 결정하는 순간에 승인을 받는다.
직접 측정 결과, 분기점에 개입 포인트를 배치한 이후 검토 시간이 회당 평균 12분에서 3분으로 줄었다. 전체 결과물 대신 결정 사항만 보기 때문이다.
Jurin 에스컬레이션 매트릭스를 일반화하면
현재 운영하는 시스템의 에스컬레이션 규칙은 작업 유형별로 다섯 단계로 분류된다.
1단계: 자동 실행 (승인 불필요) 정보 조회, 요약, 내부 정리. 결과가 내부에서만 소비되고 되돌릴 수 있는 작업이다.
2단계: 실행 후 알림 일정 조율 완료, 리마인드 발송처럼 실행했음을 사후에 보고한다. 승인은 불필요하지만 사람이 인지한다.
3단계: 초안 생성 후 대기 메일, SNS 글, 보고서 초안은 작성 후 승인 대기 상태로 보관한다. 사람이 확인하고 발행 여부를 결정한다.
4단계: 실행 전 승인 필수 외부 발송, 삭제, 결제, 계약 관련 작업. 실행 전 사람이 명시적으로 허락해야 한다.
5단계: 시스템이 개입하지 않음 인물 판단, 가치 결정, 전략 선택. 이 영역은 AI가 아예 개입하지 않는다.
이 분류를 자신의 시스템에 적용할 때는 1~2단계부터 시작해 점진적으로 넓혀가는 것을 권장한다. 처음부터 3~4단계까지 자동화하면 예외 상황이 생겼을 때 감지가 늦다.
개입 설계는 언제 다시 검토해야 하는가
규칙은 처음에 완벽할 수 없다. 운영하면서 조정한다.
개입 설계를 재검토하는 기준은 두 가지다. 첫째, 사람이 개입했는데 결과를 바꾼 비율이 10% 이하일 때. 이 경우 개입 포인트를 자동화로 전환할 수 있다. 둘째, 자동 실행했는데 사후에 수정한 비율이 20% 이상일 때. 이 경우 개입 포인트를 추가해야 한다.
직접 6개월 운영 후 규칙을 세 차례 수정했다. 각 수정은 위 두 가지 기준을 관찰한 결과였다. 느낌이 아니라 비율로 판단했을 때 설계가 안정화됐다.
개입 포인트 설계의 핵심
개입 포인트를 설계하는 목적은 자동화를 최대화하는 것이 아니다. 사람의 시간을 가장 가치 있는 결정에 집중시키는 것이다.
자동화 범위를 늘리는 데 집중하면 시스템이 커질수록 통제가 어려워진다. 개입 조건을 명확히 하는 데 집중하면 자동화가 늘어도 신뢰할 수 있다.