AI가 '불량'이라고 했는데 이유를 모르면 현장에서 못 쓴다 — 설명 가능한 제조 AI의 실전 기준

불량 검사 AI를 현장에 붙여본 사람이라면 한 번쯤 이런 장면을 봤을 겁니다. AI는 "불량"이라고 찍어내는데, 작업자는 고개를 갸웃합니다. 어디가, 왜 불량인지 모르겠으니 라인을 세울 수도, 그냥 흘려보낼 수도 없는 겁니다. 정확도가 99%여도, 이유를 말하지 못하는 AI는 현장에서 오래 살아남지 못합니다.

 

AI의 판정이 아니라, 현장의 판단이 멈춘다

공장에서 판정은 끝이 아니라 시작입니다. 불량 판정이 나오면 다음 질문이 바로 이어집니다. 어느 공정에서 생긴 결함인지, 같은 원인이 다른 제품에도 있는지, 지금 라인을 세워야 하는지 말아야 하는지. AI가 답을 주지 못하면 이 질문들은 전부 사람의 어깨로 돌아갑니다.

 

그래서 현장에서 AI의 가치는 정확도 하나로 재단되지 않습니다. "왜 그렇게 판단했는지"를 함께 내놓는지가 도입 성패를 가릅니다. 설명이 없는 판정은 결국 확인 작업만 늘립니다. 작업자는 AI를 믿지 못하고, 전수 검사를 다시 하거나, 아예 AI 판정을 무시하기 시작합니다.

 

설명 가능하다는 건, 현장 언어로 말한다는 뜻이다

현장 기준은 훨씬 실용적입니다.

 

첫째, 근거를 현장 언어로 보여줄 것. "확률 0.87"이 아니라 "용접부 우측 상단 3mm 지점의 밝기 편차"처럼, 작업자가 눈으로 확인할 수 있는 단서여야 합니다. 이미지 검사라면 결함 위치를 표시하고, 센서 기반이라면 어느 센서 값이 기준을 넘었는지 짚어줘야 합니다.

 

둘째, 설명이 조치로 이어질 것. "불량"에서 멈추지 않고 "재작업"인지 "폐기"인지, "앞 공정 점검"이 필요한지까지 연결돼야 설명이 일을 줄입니다. 설명이 조치와 끊기면 그건 보고서용 장식에 불과합니다.

 

셋째, 틀렸을 때 되돌릴 수 있을 것. AI가 틀린 판정을 내렸을 때, 그 근거와 원본 데이터를 함께 남겨두면 원인을 추적할 수 있습니다. 근거 없는 오판은 개선도 안 됩니다. 무엇을 고쳐야 할지 모르니까요.

 

도입 전에 확인할 실전 체크리스트

7년차 현장 엔지니어로서, 설명 가능한 제조 AI를 도입하기 전에 이렇게 확인하길 권합니다.

 

- 판정 화면에 "어디가, 왜"가 함께 보이는가? 확률 숫자만 있다면 아직 반쪽짜리입니다.

- 설명이 작업자의 다음 행동과 연결되는가? 확인 → 조치 → 기록의 흐름이 끊기지 않는지 보세요.

- 오판 사례를 모아 근거와 함께 복기할 수 있는가? 틀린 판정에서 배우지 못하는 시스템은 같은 실수를 반복합니다.

- 설명을 만드는 비용이 현장에 전가되지 않는가? 설명을 위해 검사 속도가 느려지거나 작업이 늘어난다면, 그건 설계가 잘못된 겁니다.

 

그래서 뭘 하면 되나 — 지금 쓰고 있는 검사 AI가 있다면, 판정 결과 옆에 근거 한 줄을 붙이는 것부터 시작하세요. "어느 부위, 어떤 신호, 기준 대비 얼마나" 이 세 가지만 붙여도 현장의 반응은 달라집니다. AI가 똑똑해지는 것도 중요하지만, 현장에서 믿고 쓸 수 있게 만드는 것이 먼저입니다. 이유를 말하는 AI가 결국 라인을 세우지 않고도 품질을 지키는 AI가 됩니다.

 

관련 글: #164 정확도 99%가 현장에서 쓸모없을 수 있다, #152 포스코 InnoPIMS