[2026-10-30 시리즈] 현장 AI 운영 노트 EP.3 — 경보가 울렸을 때, 누가 먼저 움직이나

이 글은 '현장 AI 운영 노트' 시리즈의 세 번째 글입니다. 1편에서는 매일 아침 AI의 건강을 보는 5분 점검표를, 지난 편에서는 그 점검표를 대시보드 하나로 만드는 법을 다뤘습니다 (EP.1 https://developer-archive.tistory.com/175). 이번 편에서는 대시보드에 경보가 울렸을 때, 누가 어떤 순서로 어디까지 확인하는지 — 조치 루틴을 다룹니다.

 

대시보드가 있어도 경보가 울리면 현장은 잠깐 멈칫합니다. "이거 누가 봐야 하죠?"라는 질문부터 시작되기 때문입니다. 경보 자체보다 비싼 건 경보를 보고도 아무도 움직이지 않는 시간입니다. 그래서 운영에서 진짜로 필요한 건 더 예민한 경보가 아니라, 울렸을 때 바로 움직이는 순서입니다.

 

1단계: 확인은 현장에서, 판단은 따로

 

경보가 울리면 첫 번째 확인은 AI 팀이 아니라 현장에서 합니다. 결측률이 튄 원인이 센서인지, 조명인지, 작업 조건이 바뀐 건지 — 이건 화면이 아니라 현장에 가봐야 압니다. 그래서 저는 1단계를 "현장 10분 확인"으로 정해두는 걸 권합니다. 설비 상태, 최근 작업 변경, 청소나 조명 같은 환경 변화, 이 세 가지만 확인하고 결과를 기록합니다. 현장 원인이 보이면 그걸로 끝입니다. AI를 뜯을 이유가 없습니다.

 

여기서 중요한 건, 현장 확인을 "AI가 틀렸다"는 판정으로 만들지 않는 것입니다. 확인은 원인을 좁히는 일이지, 책임을 가리는 일이 아닙니다. 원인이 현장에 있으면 현장에서 고치고, 원인이 AI 쪽에 있으면 그때 AI 팀으로 넘어갑니다. 순서가 이래야 양쪽 모두 경보를 두려워하지 않습니다.

 

2단계: AI 쪽으로 넘어가는 기준을 미리 정한다

 

현장 확인에서 원인이 안 보이면, 그때 AI 쪽 확인으로 넘어갑니다. 입력 분포가 바뀌었는지, 판정 뒤집기가 특정 유형에 몰려 있는지, 최근에 예시나 기준이 바뀐 게 있는지를 봅니다. 그런데 이 단계에서 자주 벌어지는 실수가 "일단 모델을 다시 학습시켜보자"는 것입니다. 원인을 모른 채 재학습부터 하면, 문제는 잠깐 가려질 뿐 나중에 더 큰 형태로 돌아옵니다.

 

그래서 2단계의 규칙은 단순합니다. 원인 가설 하나를 적고, 그 가설을 확인할 수 있는 숫자 하나를 정한 뒤에야 조치를 바꿉니다. 예를 들어 "조명 반사 건이 뒤집기의 절반"이라는 가설이 있으면, 반사 건만 따로 모아 확인하고 나서 예시를 보강합니다. 가설 없이 바꾸는 건 운영이 아니라 도박에 가깝습니다.

 

3단계: 어디까지가 현장, 어디부터가 중단인가

 

가장 미리 정해둬야 할 건, "이 정도면 라인을 세운다"는 기준입니다. 경보마다 심각도를 세 단계로만 나눠두면 충분합니다. ① 지켜본다 — 추이는 보되 당장 조치는 없다 ② 확인한다 — 현장 확인과 AI 확인을 오늘 안에 한다 ③ 멈춘다 — 판정을 믿지 않고 수동 검사로 전환한다. 이 기준이 없으면, 경보는 울리는데 아무도 멈출 결정을 못 하고, 반대로 사소한 경보에 라인이 자주 서는 일이 반복됩니다.

 

'멈춘다' 기준은 정확도가 아니라 현장 영향으로 정하는 게 좋습니다. 불량 유출 가능성, 안전 관련 여부, 뒤집기 비율이 평소 범위를 얼마나 벗어났는지 같은 기준입니다. 숫자는 라인마다 다르게 정해도 됩니다. 중요한 건, 경보가 울린 뒤에 정하는 게 아니라 경보가 울리기 전에 정해두는 것입니다.

 

그래서 뭘 하면 되나 — 한 장의 조치 루틴표

 

이번 주에 이렇게 시작해 보세요. 경보 하나를 골라 한 장으로 적습니다. 경보 이름, 1단계 현장 확인 3가지, AI 쪽으로 넘어가는 기준, 심각도 3단계와 각 단계의 담당자. 담당자 이름까지 적는 게 핵심입니다. "AI 팀이 본다"가 아니라 "누가 본다"여야 움직입니다. 이 표가 있으면, 다음에 경보가 울렸을 때 회의가 아니라 확인부터 시작됩니다.

 

운영은 시스템을 더 세게 만드는 일이 아니라, 경보가 울렸을 때 사람이 헤매지 않게 만드는 일입니다. 다음 편에서는 이 루틴을 한 달 돌린 뒤 — 경보를 줄이고, 기준을 다듬는 '운영 리뷰'를 다룹니다.

 

관련 글: 현장 AI 운영 노트 EP.1(https://developer-archive.tistory.com/175), 데이터 드리프트(https://developer-archive.tistory.com/133), AI 모델 평가를 현장 지표로(https://develo

per-archive.tistory.com/164)