AI 에이전트 시스템을 처음 설계하면 필요해 보이는 기능이 실제 사용 후에는 불필요하거나 오히려 부담이 되는 경우가 있다. 3개월 운영 후 시스템에서 실제로 제거한 기능 3가지와 제거 이유를 정리한다.
제거 기준은 무엇이었나
기준은 하나였다. 이 기능이 없어도 업무에 지장이 없는가. 매주 사용 빈도와 유지 비용을 확인했고, 사용하지 않는 기능에 드는 API 비용이 확인된 항목을 우선 검토했다.
없앤 것 1: 일일 뉴스 요약 자동화
관심 키워드 기사를 매일 오전 요약해 전달하는 에이전트를 설정했다. 1주차에는 매일 읽었지만 3주차부터는 스크롤 없이 넘기는 날이 늘었다. 6주차에 제거했다. 월 API 호출 약 140회, 비용 절감 약 1.2만 원이 확보됐다. 요약의 품질 문제가 아니라 읽는 습관 자체가 생기지 않은 것이 원인이었다.
없앤 것 2: 이메일 자동 발송
이메일 초안을 에이전트가 생성한 후 사용자 확인 없이 자동 발송하는 구조를 2주 테스트했다. 2주 만에 중단했다. 에이전트가 맥락을 잘못 파악한 메일 3건이 발송됐고, 그 중 1건은 사후 수습이 필요했다. 지금은 초안 생성까지만 자동화하고 발송은 반드시 직접 확인 후 진행한다.
없앤 것 3: 일정 자동 수락
캘린더 초대를 조건 기반으로 자동 수락하는 기능이었다. 조건(시간대, 참여자)을 설정했지만 예외가 너무 많았다. 자동 수락한 일정을 취소하는 일이 2건 발생했다. 현재는 에이전트가 초대를 분류하고 알림을 주는 것까지만 담당하고, 수락은 직접 한다.
제거 후 달라진 것
세 기능 제거 후 월 API 비용이 약 2.8만 원 줄었다. 남은 기능에 집중도가 높아진 것이 더 큰 변화였다. 에이전트 시스템은 기능이 많을수록 좋은 것이 아니다. 실제로 사용하는 기능이 안정적으로 작동하는 구조가 중요하다.