AI 자동화 시스템을 도입하기 전에 기대하는 것과, 한 달 실제로 운영한 후 실측되는 것은 다르다. Jurin을 직접 운영하면서 기대와 달랐던 지점 세 가지를 수치와 함께 정리했다.
기대 1: 시간이 많이 줄어들 것이다
시스템 도입 전, 블로그 운영에 주당 약 4시간~6시간을 썼다. 도입 후에는 주당 15분~20분으로 줄었다. 시간은 줄었다.
그런데 예상과 달랐던 것은, 줄어든 시간의 대부분이 "작성 시간"이 아니라 "상태 확인 시간"이었다는 점이다. 글을 직접 쓰는 시간도 줄었지만, 오늘 글이 어디까지 됐는지 확인하고, 발행이 됐는지 체크하고, 오류가 없는지 보는 시간이 훨씬 더 많이 줄었다.
AI 시스템이 절약해주는 것은 작업 시간이기도 하지만, 관리 시간과 인지 부하가 더 크다. 뭔가가 "안 됐을까" 하는 걱정이 사라지는 것이 생각보다 큰 변화다.
기대 2: 에이전트가 스스로 잘 판단할 것이다
에이전트는 준 것만 처리한다. 전략 문서에 없는 기준은 적용하지 못하고, 맥락이 불명확하면 임의로 채운다. 첫 달에 가장 많이 수정한 것은 전략 문서와 설정 파일이었다.
에이전트가 기대와 다른 결과를 냈을 때, 원인은 대부분 에이전트가 아니라 내가 준 기준이 불충분했던 탓이었다. "톤 유지해줘"가 아니라 "과장 표현, 이모지 금지, 정의 먼저, 수치 포함"처럼 구체적이어야 에이전트가 따를 수 있다.
직접 측정 결과, 전략 문서를 명시적으로 개정한 뒤 에이전트의 재작업 비율이 약 60% 줄었다. 기준을 명확히 하는 것이 에이전트를 더 잘 학습시키는 것보다 빠르다.
기대 3: 한 번 만들면 계속 돌아갈 것이다
자동화 파이프라인은 한 번 만들면 영원히 작동하지 않는다. 외부 서비스가 업데이트되거나, 운영 방식이 바뀌거나, 에이전트 모델이 교체되면 파이프라인의 일부가 어긋난다.
첫 달에 예상치 못한 중단이 2번 있었다. 한 번은 인증 토큰이 만료된 경우였고, 한 번은 데이터베이스 스키마를 바꾼 뒤 에이전트가 기존 구조로 데이터를 조회하려던 경우였다.
지금은 주 1회, 약 5분 동안 파이프라인 상태를 점검한다. 에러 로그를 확인하고, 지난주 자동화 실행 결과를 훑는다. 이 점검이 없으면 문제가 생긴 지 며칠 후에야 알게 된다.
자동화 시스템을 "스스로 돌아가는 것"으로 대하면 오래 못 쓴다. "내가 관리하되 일의 대부분을 대신 처리해주는 것"으로 대하면 오래 쓸 수 있다.