[시리즈] 현장 AI 운영 노트 EP.1 — 도입은 끝이 아니다, 매일 아침 AI의 건강을 보는 법

> 이 글은 새로 시작하는 '현장 AI 운영 노트' 시리즈의 첫 번째 글입니다. 데이터를 모으고 흘려보내는 이야기는 '현장 데이터 파이프라인' 시리즈(EP.3 https://developer-archive.tistory.com/158, EP.4 https://developer-archive.tistory.com/165)에서 다뤘고, 이제는 도입된 AI를 매일 어떻게 돌보는지를 다룹니다.

 

AI를 공장에 붙이는 날보다 더 중요한 날이 있습니다. 붙인 다음 날 아침입니다. 도입 당일에는 모두가 화면을 들여다보지만, 한 달이 지나면 아무도 AI의 건강을 묻지 않습니다. 그러다 어느 날 AI가 조용히 틀리기 시작하고, 현장은 그걸 한참 뒤에야 알아챕니다. 7년차 현장 엔지니어로서 제가 배운 건, AI 운영의 핵심은 대단한 재학습 기술이 아니라 "매일 아침 5분, 같은 지표를 보는 습관"이라는 것입니다.

 

운영 지표는 정확도가 아니라 '이상 신호'부터 본다

도입 이후에 정확도를 매일 재는 현장은 거의 없습니다. 정답 라벨이 그날 바로 나오지 않기 때문입니다. 대신 볼 수 있는 건 이상 신호입니다. 첫째, 입력이 달라졌는가 — 센서 결측률이 평소보다 올랐는지, 이미지 밝기나 각도가 바뀌었는지. 둘째, 예측 분포가 달라졌는가 — 평소에는 불량 판정이 2%였는데 오늘은 8%라면, 제품이 나빠졌을 수도 있지만 AI가 보는 세상이 바뀌었을 가능성도 큽니다. 셋째, 작업자가 판정을 얼마나 뒤집는가 — 뒤집는 비율이 오르면 AI와 현장의 눈이 어긋나고 있다는 뜻입니다.

 

이 세 가지는 정답 없이도 매일 볼 수 있습니다. 저는 이걸 "AI의 활력징후"라고 부릅니다. 사람이 매일 체온을 재듯, AI도 매일 이 세 숫자를 보면 됩니다.

 

알람은 적게, 그러나 반드시 사람이 보게

운영에서 가장 흔한 실패는 알람을 너무 많이 만드는 것입니다. 입력이 조금만 흔들려도 알람이 울리면, 현장에서는 일주일 만에 알람을 무시하기 시작합니다. 그래서 알람은 두 단계로 나눠야 합니다. '주의'는 대시보드에만 남기고, '조치'는 사람이 반드시 확인해야 하는 경우에만 울립니다. 조치 알람의 기준은 간단합니다. "지금 이걸 안 보면 오늘 안에 라인이 멈추거나 불량이 흘러갈 수 있는가"입니다. 아니라면 주의로 두세요.

 

또 하나, 알람에는 반드시 '그다음 행동'이 붙어야 합니다. "예측 분포 이상"이라는 알람만으로는 아무도 움직이지 않습니다. "최근 1시간 이미지 20장을 확인하고, 조명이 바뀌었는지 보세요"까지 써 있어야 알람이 일이 됩니다.

 

그래서 뭘 하면 되나 — 아침 5분 운영 점검표

내일 아침부터 이렇게 해보세요. ① 어제 입력 결측률이 평소와 달랐는지 ② 불량 판정 비율이 평소 범위를 벗어났는지 ③ 작업자가 뒤집은 판정이 몇 건인지 ④ 조치 알람이 있었다면, 그 원인이 확인됐는지. 네 가지 중 하나라도 평소와 다르면, 그날은 재학습을 논하기 전에 "무엇이 달라졌나"부터 찾습니다. 데이터 드리프트(https://developer-archive.tistory.com/133)나 모델 평가(https://developer-archive.tistory.com/164)에서 다룬 것처럼, 원인을 모른 채 모델만 고치면 같은 문제가 반복됩니다.

 

AI 도입은 설치가 아니라 운영의 시작입니다. 매일 아침 5분, 같은 지표를 보는 팀은 AI가 틀리기 전에 알아챕니다. 다음 편에서는 이 점검표를 실제로 대시보드 하나로 만드는 법 — 어떤 차트부터 그릴지, 어떤 숫자는 빼야 할지를 다룹니다.