8월 한 달 동안 AI 자동화 시스템을 운영했다. 기대와 다른 결과가 있었고, 예상보다 효과적인 영역도 있었다. 수치로 정리할 수 있는 것은 수치로 쓴다.
실제로 줄어든 것
메일 처리 시간: 받은 편지함 확인 후 중요 메일을 분류하고 요약하는 시간이 하루 약 40분에서 10분으로 줄었다. 에이전트가 수신 메일을 카테고리별로 정리하고 답장이 필요한 메일을 우선순위 순서로 올려준다. 셋업 후 안정화까지 약 3주 걸렸다.
블로그 콘텐츠 기획 시간: 주간 기획을 직접 잡던 시간이 주당 약 2시간에서 30분으로 줄었다. 에이전트가 초안 기획을 만들고 사람이 검토만 한다. 기획 품질은 초기보다 3주 운영 후에 더 좋아졌다.
반복 보고서 작성 시간: 주간 활동 요약을 직접 작성하던 시간이 주당 약 1시간에서 15분으로 줄었다. 에이전트가 데이터를 모아 초안을 만들고, 사람이 검토 후 확인한다.
직접 측정 결과: 8월 한 달 기준, 에이전트에게 위임한 작업에서 절약된 시간은 주당 약 4~5시간으로 추정된다.
줄어들지 않은 것
최종 판단 시간: 에이전트가 초안을 만들어줘도 외부에 내보내기 전에 사람이 읽고 확인하는 시간은 그대로다. 속도는 빨라졌지만 검토를 건너뛰는 것은 아직 안전하지 않다.
초기 셋업과 수정 시간: 자동화를 처음 구성하고, 실패 케이스를 발견하고, 지시를 고치는 데 드는 시간은 기대보다 많았다. 첫 달에는 자동화가 시간을 절약해주는 것보다 셋업에 드는 시간이 더 많을 수 있다. 8월이 그랬다.
판단이 필요한 일: 새로운 상황, 처음 보는 유형의 요청, 민감한 결정은 에이전트에게 맡길 수 없다. 이 부분은 줄어들지 않았다. 에이전트가 다루는 것은 반복되고 규칙이 명확한 일뿐이다.
8월 운영에서 배운 것
자동화는 도입 첫 달에 시간을 절약해주지 않는다. 셋업하고, 테스트하고, 실패를 수정하는 과정이 첫 달의 대부분이다. 절약 효과는 2달째부터 나타난다.
그래도 첫 달에 해야 하는 이유가 있다. 어떤 일이 자동화에 맞고 어떤 일이 맞지 않는지를 직접 해봐야 알 수 있기 때문이다. 8월에 실패한 자동화 2건이 9월 운영 방향을 구체적으로 바꿨다.
9월에 달라질 것
9월에는 실측 데이터를 더 쌓는다. 어떤 작업에서 에이전트 실수율이 높은지, 어떤 지시가 더 일관된 결과를 내는지를 기록하고 조정한다. 월말에 숫자로 다시 정리할 예정이다.