시뮬레이션에서 배운 AI, 공장에서 살아남는 법 — 합성 데이터 제조 AI의 현장 검증 3단계

이전 글에서 이어집니다: 불량 데이터가 없어서 못 만드는 제조 AI — 합성 데이터(Synthetic Data)로 훈련하는 법 (시리즈 1편). 수집의 한계를 '생성'으로 뚫었다면, 이번 2편에서는 그 모델을 현장에 내놓기 전에 반드시 거쳐야 할 '검증'을 다룹니다.

---

합성 데이터로 불량 판별 AI를 만들었습니다. 가상 테스트셋에서는 정확도 98%. 자신 있게 라인에 올렸는데, 일주일 뒤 현장 담당자에게 전화가 왔습니다. "이거 쓸 만한 게 아니에요." 7년차 현장 엔지니어로서, 제조 AI 프로젝트에서 합성 데이터 다음 단계가 가장 아프다는 걸 깨달은 순간이었습니다. 시뮬레이션에서 배운 AI가 공장에서 살아남으려면, '검증'이라는 관문을 통과해야 합니다.

1. Sim-to-Real 갭 — 렌더링이 아무리 완벽해도 공장은 다르다

 

합성 데이터와 실제 공장의 차이를 'Sim-to-Real 갭'이라고 부릅니다. 도메인 랜덤화로 조명·각도·질감을 무작위로 바꿔 학습시켜도, 실제 공장의 롱테일은 시뮬레이션에 들어 있지 않습니다. 렌즈에 묻은 유분, 깜빡이는 형광등, 진동으로 흔들린 이미지, 작업자의 손에 가려진 순간 — 모델이 한 번도 배운 적 없는 '현장만의 노이즈'가 불량 판단의 앞을 가로막습니다. 가상 정확도 98%는 '가상 세계의 성적표'일 뿐, 현장의 성적표는 따로 매겨야 합니다.

 

2. 갭을 좁히는 3단계 — 섞고, 작게, 다시 돌린다

 

현장에서 제가 쓰는 검증 루틴은 세 단계입니다.

 

첫째, 실제 데이터와 섞어 파인튜닝한다. 합성 데이터 10만 장으로 학습한 뒤, 실제 불량 50~100장으로 파인튜닝합니다. 합성이 '불량의 본질'을 가르쳤다면, 실측 데이터는 '우리 공장의 얼굴'을 가르칩니다. 섞을 때는 실제 데이터의 비중을 작게 시작해 점차 늘리는 게 안전합니다.

 

둘째, 작은 라인에서 파일럿을 돌린다. 본 라인에 바로 올리지 않습니다. 한 셀(cell)이나 예비 라인에서 2~4주 파일럿을 돌리며 오탐·미탐을 기록합니다. 이 기간의 목표는 정확도가 아니라 '어떤 불량을 틀리는지'의 패턴을 찾는 겁니다.

 

셋째, 틀린 케이스를 다시 합성에 반영한다. 파일럿에서 틀린 불량 케이스는 가장 비싼 학습 데이터입니다. 그 케이스를 분석해 합성 파이프라인에 시나리오로 추가합니다 — "이런 조명 조건의 긁힘은 추가 생성"처럼요. 수집 → 합성 → 검증 → 다시 합성. 이 루프가 도는 팀과 안 도는 팀의 격차가, 6개월 뒤 현장 정확도의 격차가 됩니다.

 

3. 현장에서 무너지는 세 가지 패턴

 

아팠던 실패를 세 가지만 꼽겠습니다.

---

 

가상 정확도를 믿고 본 라인 직행. 시뮬레이션 98%를 현장 성적표로 착각한 경우입니다. 현장 담당자의 신뢰는 한 번 깨지면 회복이 어렵습니다. 작은 성공부터 쌓으세요.

 

검증 기준이 '합성 테스트셋'인 경우. 합성으로 학습하고 합성으로 검증하면, 모델은 가상 세계에만 최적화됩니다. 검증용 실측 데이터는 학습에 쓰지 말고 따로 떼어두세요. 이게 합성 데이터 시대의 '데이터 리키지' 방지입니다.

 

현장 작업자의 피드백이 없는 경우. "이 알림은 왜 틀렸어요?"라는 질문에 답할 수 있어야 합니다. 불량의 우선순위와 종류를 아는 건 현장의 도메인 지식이고, 그 피드백이 합성 시나리오의 방향을 정합니다. 1편에서도 말했지만, AI가 데이터를 만드는 시대에도 무엇을 만들지는 여전히 사람이 정합니다.

 

검증은 기술이 아니라 운영이다

 

합성 데이터는 '데이터가 없어서 못 한다'는 핑계를 없애줬습니다. 하지만 그 다음 핑계 — "가상에서는 됐는데" — 를 없애주는 건 검증 루프입니다. 정확도 수치보다 중요한 건, 모델이 틀렸을 때 그걸 다시 학습에 반영하는 구조가 돌아가는가입니다.

 

그래서 뭘 하면 되나 — 합성 데이터로 모델을 만들고 있다면, 오늘 당장 검증용 실측 불량 20장을 학습에서 빼고 따로 떼어두세요. 그 20장이 다음 달 현장 정확도의 기준선이 됩니다.관련 글: 디지털트윈의 진짜 엔진은 3D가 아니라 '데이터 수집'이다 — 수집이 합성 시대에도 여전히 필요한 이유.