자동화 시스템이 멈췄을 때 가장 나쁜 상황은 멈춘 사실을 모르는 것이다. 알림 없이 조용히 멈추는 자동화는 당장 문제가 없어 보이지만, 시간이 지날수록 누락 범위가 커진다.
Jurin을 운영하면서 자동화가 소리 없이 멈춘 경험이 2번 있었다. 두 번 모두 외부 확인 중에 발견했다. 이후 매일 확인하는 점검 항목 5가지를 만들었다. 자동화를 운영한다면 이 항목들을 루틴으로 넣는 것을 권장한다.
매일 확인할 점검 항목 5가지
1. 마지막 실행 시각이 예정보다 1시간 이상 밀렸는가
스케줄된 작업은 예정 시각에 실행된다. 1시간 이상 지연되었다면 실행 자체가 실패했을 가능성이 높다. 매일 아침 스케줄 목록에서 마지막 실행 시각을 확인한다. 지연 여부를 한눈에 확인할 수 있는 구조가 없다면, 가장 먼저 만들어야 할 것이 이것이다.
2. 어제 예정된 작업이 결과를 남겼는가
실행 기록은 있지만 결과물이 없는 경우가 있다. 실행이 완료로 처리됐어도 실제로 데이터를 생성하거나 저장하지 못한 경우다. 결과물 테이블이나 파일을 직접 확인한다. "실행됨"과 "결과가 있음"은 다르다.
3. 에러 로그에 어제 이후 새로운 항목이 있는가
에이전트나 자동화 파이프라인의 에러 로그를 하루 1회 확인한다. 같은 에러가 반복되고 있다면 조용히 누적되고 있는 상황이다. 에러가 없다고 정상인 것은 아니다. 에러 로그 자체가 없는 경우도 별도로 주의가 필요하다.
4. 외부 서비스 연결이 살아 있는가
자동화가 의존하는 외부 API나 서비스가 내려가 있으면 파이프라인 전체가 멈춘다. 캘린더, 메일, SNS 연동처럼 외부 서비스에 의존하는 작업은 연결 상태를 별도로 확인한다. Jurin의 경우 하루 1회 연동 서비스에 ping을 보내는 점검 루틴을 추가했다.
5. 오늘 기대되는 출력이 존재하는가
가장 단순하고 직관적인 확인이다. 오늘 자동화가 생성해야 할 것이 무엇인지 알고 있다면, 그것이 실제로 있는지 확인한다. 블로그 초안, 알림 메시지, 요약 보고서 등 기대 출력을 미리 목록으로 만들어두면 확인이 빠르다.
점검 루틴을 자동화하면 얼마나 달라지나
5가지를 매일 수동으로 확인하는 것은 부담스럽다. 자동화 도구가 있다면 점검 자체도 자동화할 수 있다. Jurin의 경우 매일 오전 9시에 위 5개 항목을 자동 점검하고, 이상이 있으면 알림을 보내는 루틴을 운영한다.
직접 측정 결과, 이 루틴 도입 이후 자동화 실패를 인식하는 데 걸리는 평균 시간이 약 20시간에서 1시간 미만으로 줄었다. 실패 자체의 빈도는 바뀌지 않았지만, 인식 속도가 빨라지면서 영향 범위가 크게 줄었다.
점검 자체를 자동화하기 어렵다면, 이 5가지를 아침 루틴 체크리스트에 넣는 것만으로도 충분하다. 자동화 시스템은 결국 운영하는 사람이 제때 이상을 감지할 수 있을 때 제대로 돌아간다.