검증 통과한 AI가 한 달 만에 틀리기 시작했다 — 제조 현장의 데이터 드리프트와 재학습 루프

[합성 데이터로 훈련하는 제조 AI] 시리즈 3편. 1편 '불량 데이터가 없어서 못 만드는 제조 AI — 합성 데이터로 훈련하는 법', 2편 '시뮬레이션에서 배운 AI, 공장에서 살아남는 법 — 현장 검증 3단계'에 이어, 이번 3편에서는 모델이 라인에 올라간 '다음 달'의 이야기를 다룹니다.

 

파일럿을 통과했습니다. 한 셀에서 3주 돌려 오탐·미탐 패턴을 잡고, 틀린 케이스는 합성 파이프라인에 다시 넣어 재학습까지 마쳤습니다. 본 라인에 올린 첫 주, 현장 반응은 좋았습니다. 그런데 한 달 뒤, 다시 전화가 왔습니다. "요즘 이거 좀 이상한데요?" 정확도 수치를 까보니 96%에서 89%로 내려와 있었습니다. 2편에서 다룬 '검증'을 다 통과한 모델인데, 왜일까요? 7년차 현장 엔지니어로서 말합니다 — 공장은 가만히 있는 세계가 아닙니다. 모델은 시간이 지나면서 공장과 어긋나고, 이 어긋남에는 이름이 있습니다. 데이터 드리프트(Data Drift)입니

다.

 

1. 시뮬레이션은 고정된 세계, 공장은 움직이는 세계

 

합성 데이터로 훈련하고 검증까지 마친 모델은 '그 시점의 공장'을 배운 겁니다. 문제는 그 시점이 오래가지 않는다는 것입니다. 제가 현장에서 본 드리프트의 얼굴은 대략 네 가지였습니다.

 

설비의 변화. 공구가 마모되면 절삭면의 질감이 바뀌고, 렌즈를 교체하면 화각과 색감이 바뀝니다. 모델이 배운 '정상'의 정의가 설비와 함께 늙어가는 셈입니다.

 

공정의 변경. 작업 순서가 바뀌거나 지그가 교체되면, 카메라에 들어오는 장면 자체가 달라집니다. 특히 불량의 '배경'이 바뀌면 모델의 판단 근거가 흔들립니다.

 

환경의 계절성. 여름철 직사광선이 작업대 각도를 바꾸고, 겨울철 난방으로 공기가 떨리면(열기류) 이미지가 미세하게 흔들립니다. 야간 조도와 주간 조도의 차이도 무시 못 합니다.

 

새로운 불량 유형. 신제품이 투입되거나 협력사가 바뀌면, 모델이 한 번도 본 적 없는 불량이 등장합니다. 이건 드리프트를 넘어 '미지의 세계'입니다.

 

시뮬레이션은 고정된 세계를 렌더링하지만, 공장은 매일 조금씩 다른 세계입니다. 검증은 출발선이지 종착선이 아닙니다.

 

2. 드리프트는 수치보다 먼저 '느낌'으로 온다

 

드리프트를 잡는 가장 빠른 센서는 의외로 현장 작업자입니다. "요즘 알람이 좀 이상해요"라는 말은, 지표가 무너지기 2~3주 전에 먼저 옵니다. 이 느낌을 흘려보내지 말고, 숫자로 붙잡는 루틴을 만드세요.

 

예측 분포의 이동을 본다. 모델이 매일 뱉는 불량 확률의 분포를 기록하세요. 어느 날부터 '불량 확률 50~70% 애매한 구간'의 예측이 늘어난다면, 모델이 확신을 잃고 있다는 신호입니다.

 

신뢰도 스코어의 평균을 추적한다. 정상 판정의 평균 신뢰도가 0.97에서 0.91로 미끄러졌다면, 아직 오탐이 늘기 전이라도 드리프트가 진행 중입니다. 정확도는 '결과'이고, 신뢰도는 '예고'입니다.

 

재확인율을 센다. 현장 작업자가 AI 판정을 뒤집은 비율(재확인율)이 주 단위로 올라가면, 모델과 현장의 간극이 벌어지고 있다는 증거입니다. 이 지표 하나만 잘 봐도 드리프트의 타이밍을 놓치지 않습니다.

 

드리프트는 막는 게 아니라 '보는' 겁니다. 보고 있으면 대응할 수 있고, 못 보면 어느 날 갑자기 무너집니다.

 

3. 재학습 루프 — 드리프트를 운영으로 흡수하기

 

드리프트를 알았다면, 이제는 운영의 문제입니다. 제가 쓰는 재학습 루틴은 이렇습니다.

 

주기적 재학습을 캘린더에 박는다. 분기 1회, 혹은 월 1회 — 주기는 라인의 변화 속도에 맞춥니다. '정확도가 떨어지면'이 아니라 '날짜가 되면' 재학습합니다. 떨어진 뒤에 움직이면 이미 늦습니다.

 

새 실측 데이터 + 합성 시나리오를 함께 업데이트한다. 재학습 때는 그 기간에 모은 실제 불량 데이터를 넣고, 새로 발견된 드리프트 요인(예: 바뀐 조명 조건, 신규 불량 유형)은 합성 파이프라인의 시나리오로 추가합니다. 2편의 '수집 → 합성 → 검증 → 다시 합성' 루프가 여기서도 돕니다.

 

모델을 버전으로 관리하고 롤백을 준비한다. 재학습한 모델이 오히려 나빠질 수 있습니다. 구 버전으로 즉시 되돌릴 수 있어야 현장의 신뢰가 깨지지 않습니다. 배포 전에는 2편의 파일럿 루틴을 짧게라도 다시 돌리세요.

 

합성 파이프라인을 끄지 않는다. 가장 흔한 실수가 이겁니다. 모델이 현장에 나갔다고 합성 환경을 정리해버리면, 드리프트가 왔을 때 처음부터 다시 만들어야 합니다. 합성 파이프라인은 '운영 자산'입니다. 살려두는 팀과 정리하는 팀의 차이는, 드리프트가 왔을 때 대응 속도의 차이입니다.

 

배포는 끝이 아니라 시작이다

 

합성 데이터는 '데이터가 없어서 못 한다'는 핑계를 없애줬고, 검증 루프는 '가상에서는 됐는데'라는 핑계를 없애줬습니다. 남은 핑계는 "처음엔 됐는데"입니다. 이걸 없애주는 게 드리프트 감시와 재학습 루프, 즉 운영입니다.

 

그래서 뭘 하면 되나 — 모델이 현장에 나가 있다면, 오늘 당장 예측 로그에 타임스탬프와 신뢰도 스코어가 남는지 확인하세요. 그 두 줄이 없으면 드리프트는 보이지 않고, 보이지 않는 건 관리할 수 없습니다. 시리즈 1편에서 데이터를 '만드는' 법을, 2편에서 '검증하는' 법을 다뤘다면, 3편의 결론은 이겁니다. 제조 AI의 수명은 훈련이 아니라 운영이 결정합니다.

 

관련 글: 디지털트윈의 진짜 엔진은 3D가 아니라 '데이터 수집'이다 — 합성 시대에도 수집이 여전히 필요한 이유.