관리는 시스템을 작동 가능한 상태로 만드는 것이고, 운영은 그 상태를 지속적으로 개선하며 유지하는 것이다. 이 두 가지를 구분하지 않으면 AI 시스템을 도입했지만 달라진 것이 없다는 느낌을 3개월 안에 갖게 된다.
관리와 운영은 구체적으로 어떻게 다른가
관리(management)에 해당하는 행동은 다음과 같다. API 연결, 프롬프트 초안 작성, 자동화 트리거 설정, 권한 부여, 초기 테스트. 이 과정은 시스템을 '켜는' 행위다. 한 번 설정하면 기본적으로는 유지된다.
운영(operation)은 시스템이 켜진 이후에 시작된다. 에이전트가 처리한 결과를 주기적으로 검토하고, 실패가 반복되는 패턴을 찾아 원인을 수정하고, 사람의 업무 맥락이 변할 때 에이전트의 설정도 함께 바꾸는 행위가 운영이다.
비유하면 이렇다. 관리는 선풍기를 사서 꽂아두는 것이고, 운영은 방해물이 생겼을 때 위치를 바꾸고, 필터를 청소하고, 계절이 끝나면 보관하는 것이다. 선풍기가 켜져 있다고 운영이 되고 있는 것은 아니다.
운영 없이 관리만 한 시스템은 3개월 후 어떻게 되는가
처음 2주는 관리만 해도 시스템이 잘 돌아가는 것처럼 느껴진다. 설정한 대로 동작하고, 에러가 드물며, 개입이 거의 필요 없다.
6주가 지나면 달라진다. 직접 3개월간 운영하며 측정한 결과, 운영 루틴 없이 관리만 한 자동화의 오류 빈도는 6주 이후 초기 대비 약 2.5배에서 3배 수준으로 증가했다. 원인은 단순하다. 에이전트의 설정은 고정되어 있지만, 실제 업무의 맥락은 계속 변하기 때문이다.
예를 들어 메일 분류 에이전트를 설정할 때는 당시의 연락처 목록, 자주 받는 메일 유형, 처리 우선순위를 기반으로 규칙을 만든다. 그런데 3개월 후에는 새로운 협업 상대가 생기고, 기존 담당자가 바뀌고, 중요도 기준이 달라진다. 에이전트는 이 변화를 스스로 파악하지 못한다.
운영이 없으면 이 오차를 그때그때 수동으로 수정하게 된다. 결국 AI 시스템이 사람을 돕는 것이 아니라 사람이 AI 시스템을 관리하는 상황이 된다.
운영 루틴은 어떻게 시작하는가
운영 루틴은 복잡할 필요가 없다. 두 가지 주기만 지키면 된다.
주 1회 10분 리뷰: 지난 7일 동안 에이전트가 처리한 항목 중 실패하거나 재처리가 필요했던 것을 목록으로 기록한다. 개수보다 패턴이 중요하다. "같은 유형의 실수가 3회 이상 반복됐는가"를 확인하는 것이 핵심이다.
월 1회 30분 재조정: 주간 기록을 기반으로 프롬프트나 규칙을 업데이트한다. 더 이상 쓰지 않는 자동화를 정리하고, 새로 생긴 업무 패턴에 맞는 설정을 추가한다.
3개월간 이 루틴을 유지한 측정 결과: 주간 리뷰에 실제로 쓴 시간은 평균 12분이었고, 이 루틴으로 예방된 수동 개입 시간은 주 평균 약 45분이었다. 투입 대비 약 3.7배의 효율이 나왔다.
관리에서 운영으로 넘어가는 시점은 언제인가
시스템을 설치한 지 2주가 지났고, 에이전트가 하루에 3건 이상의 작업을 처리하고 있다면 운영 루틴을 시작할 시점이다.
판단 기준을 하나로 요약하면 이렇다. "지난 7일 동안 에이전트가 어떤 행동을 했는지 5분 이내에 확인할 수 있는가?" 이 질문에 대답하지 못한다면, 지금 관리는 되고 있지만 운영은 되고 있지 않은 것이다.
관리와 운영의 경계를 인식하는 것이 AI 시스템을 도입했지만 달라진 게 없다는 상태에서 벗어나는 첫 번째 단계다. 도구를 바꾸거나 더 많은 기능을 추가하기 전에, 이미 있는 시스템을 운영하고 있는지를 먼저 확인하는 것이 순서다.