현장이 AI를 가르치는 법 — 작업자 피드백을 합성 시나리오로 바꾸는 실전 루프

> **[합성 데이터로 훈련하는 제조 AI] 시리즈 4편.** 1편 '불량 데이터가 없어서 못 만드는 제조 AI — 합성 데이터로 훈련하는 법', 2편 '시뮬레이션에서 배운 AI, 공장에서 살아남는 법 — 현장 검증 3단계', 3편 '검증 통과한 AI가 한 달 만에 틀리기 시작했다 — 데이터 드리프트와 재학습 루프'에 이어, 이번 4편에서는 가장 값싸고 가장 자주 버려지는 데이터를 다룹니다. '현장의 한마디'입니다.

 

---

 

3편에서 이런 말을 했습니다. "드리프트를 잡는 가장 빠른 센서는 현장 작업자다. '요즘 알람이 좀 이상해요'라는 말은 지표가 무너지기 2~3주 전에 먼저 온다." 그런데 그 한마디는 보통 회의에서 증발합니다. 기억 속에, 메신저 방에, 점심시간 농담으로. 7년차 현장 엔지니어로서 단언합니다. 작업자 피드백을 합성 시나리오로 바꾸는 루프가 없는 팀은, 드리프트가 와도 "알고는 있었는데"가 됩니다. 이번 4편에서는 현장의 한마디를 파이프라인의 입력으로 바꾸는 실전 루프를 소개합니다.

 

## 1. 피드백은 '감'이 아니라 '데이터 카드'다

 

현장의 한마디는 감이 아닙니다. "조금 이상해요"를 그대로 받아적으면 데이터가 되지 않습니다. 피드백 카드 네 줄로 바꾸세요.

 

- **언제:** 시간대와 교대 (오후 3시 이후, 야간 2교대 등)

- **어디서:** 설비와 카메라 ID (라인 번호, 셀 번호)

- **무엇이:** 판정의 어긋남 (정상인데 불량 알람 / 불량인데 통과 / 판정이 들쭉날쭉)

- **조건:** 그때의 환경 (조명, 날씨, 작업자 교대, 소재 로트)

 

이 네 줄이 있으면 합성 시나리오의 '조건 파라미터'로 바로 변환됩니다. 예를 들어 "오후 3시 이후 서쪽 창가 라인에서 정상품에 긁힘 알람이 잦음"이라는 카드는 합성 시나리오 "오후 시간대 직사광선 각도 + 해당 소재 질감의 미세 긁힘"이 됩니다. 피드백을 카드로 바꾸는 순간, 감은 설계 입력이 됩니다. 양식 한 장이면 충분합니다. 종이든 스프레드시트든 HMI 입력폼이든, 카드가 '쌓이는' 형태라면 됩니다.

 

## 2. '재확인 버튼'을 라인 옆에 둔다

 

피드백이 오려면 경로가 있어야 합니다. 작업자 HMI나 라인 옆 태블릿에 'AI 판정 재확인' 버튼을 하나 두세요. 작업자가 AI 판정을 뒤집는 순간, 이미지·확률·뒤집힌 이유(간단 선택: 오탐/미탐/모호함)가 자동으로 저장됩니다. 이 로그가 쌓이면 '틀린 케이스 풀'이 생깁니다.

 

2편에서 파일럿의 틀린 케이스가 가장 비싼 학습 데이터라고 했습니다. 운영 단계에서도 구조는 똑같습니다. 월 1회, 그 풀을 리뷰해서 합성 시나리오로 추가하세요. "이번 달 이런 조건의 틀림이 37건"처럼 우선순위까지 자동으로 붙습니다. 작업자는 추가 업무를 느끼지 않고, AI 팀은 매달 가장 아픈 케이스를 시나리오로 돌려받습니다. 현장이 AI를 가르치는 구조, 이게 그 실체입니다.

 

## 3. 시나리오 라이브러리도 버전 관리가 필요하다

 

피드백이 시나리오로 바뀌기 시작하면, 다음 문제는 '시나리오 부채'입니다. 그대로 쌓아두면 반년 뒤 아무도 모르는 시나리오가 됩니다. "이거 왜 만든 거지?" — 이 질문이 나오기 시작하면 파이프라인은 죽어가고 있는 겁니다.

 

방법은 단순합니다. 모든 시나리오에 출처 태그를 붙이세요. 피드백 카드 번호, 날짜, 설비 ID. 그러면 설비가 교체되거나 공정이 바뀔 때, 관련 시나리오를 '검토 필요'로 바꿀 수 있습니다. 조건이 사라진 시나리오는 은퇴시키고, 반복되는 틀림은 시나리오로 승격시킵니다. 합성 파이프라인도 소프트웨어입니다. 버전 없는 파이프라인은 언젠가 "왜 이 시나리오가 있는지 아무도 몰라"가 됩니다.

 

## AI를 가르치는 건 합성 엔진이 아니라 현장의 매일이다

 

합성 데이터는 '데이터가 없어서 못 한다'는 핑계를 없앴고, 검증 루프는 '가상에서는 됐는데'라는 핑계를 없앴고, 드리프트 감시는 '처음엔 됐는데'라는 핑계를 없앴습니다. 남은 핑계는 "현장이랑 안 맞아"입니다. 이걸 없애주는 게 오늘 4편의 루프 — 피드백 카드, 재확인 버튼, 시나리오 버전 관리입니다.

 

그래서 뭘 하면 되나 — 라인 옆 태블릿에 재확인 로그 양식(버튼이든 종이 카드든) 하나를 오늘 만드세요. 그리고 다음 주 월요일 아침, 지난주에 뒤집힌 판정 10건을 뽑아 합성 시나리오 카드로 바꿔보세요. AI를 가르치는 건 합성 엔진이 아니라, 현장의 매일입니다.

 

---

관련 글:

- [합성 데이터로 훈련하는 제조 AI] 3편 — 검증 통과한 AI가 한 달 만에 틀리기 시작했다 (https://developer-archive.tistory.com/133)

- [디지털트윈의 진짜 엔진은 3D가 아니라 '데이터 수집'이다](https://developer-archive.tistory.com/124) — 수집이 합성 시대에도 여전히 필요한 이유.

 

*다음 5편: '합성 데이터 시리즈 최종회 — 현장 도입 전 실전 체크리스트 20'에서 이어집니다.*