프로그래밍 허브

🧠 Unity 디지털트윈 기본 구조

• 실제 공정의 센서/액추에이터 상태를 Unity에서 시각화
• Unity → MX Component → PLC ↔ 센서 시뮬레이터 연결

🏗 MPS 시뮬레이션 구조도

• Work → Supply_MC → Drill_MC → Conveyor → Store_MC
• 센서 입력 → Unity 상태 동기화 → 동작 스크립트 적용

🧩 Unity 구현 실습

1. Assets 구조:
   • 2.Model, 3.Scripts, Material, Plugins 폴더 구성
2. 데이터 스크립트 작성:
   • DigitalTwin.cs: 센서 값 수신 및 반영
   • DataModel.cs: 센서/모터 상태 정의
3. 예제: 실린더 복동 동작

📷 Unity 슬라이더 연동, 실제 PLC 상태 

⚙️ Unity ↔ PLC 통신 구조 요약 이미지

🧠 PLC 기초 개념

• **PLC (Programmable Logic Controller)**는 자동화 설비의 핵심 제어 장치
• 센서 입력값 → 제어 로직 → 모터/릴레이 등 출력 제어

https://www.youtube.com/watch?v=QSGIO2DTKFs

📦 Mitsubishi PLC 구성 요소

• PLC 본체 (Q/FX 시리즈)
• GX Works2: 제어 프로그램 작성 및 시뮬레이션
• MX Component: 외부 통신 라이브러리 (Unity 등과 연동)

🛠 GX Works2 시뮬레이션 설정

1. 프로젝트 생성 → PLC 모델 선택 (예: FX5)
2. [Debug] → [Start Simulation] 선택

🔗 MX Component 설정 (GX 시뮬레이터 or 실물 PLC)

• Wizard → Logical Station No: 0 설정
• Q 시리즈:
  • I/F: Ethernet Board
  • Host IP 직접 입력
• FX5 시리즈:
  • I/F: Ethernet Port Direct Connection 체크
  • 네트워크 어댑터 및 IP 설정 확인

https://www.youtube.com/watch?v=2RrNm3Zb6ow

🧪 조사 장비 목록

📷 착용 비교 이미지 (Hololens vs Magic Leap vs Meta 2)

업로드하신 이미지 활용 가능

https://www.youtube.com/watch?v=V_izBWr3RcM

📌 사용 후기 요약

✅ Hololens 2

• 공간 매핑 및 손 제스처 인식이 뛰어나 스마트팩토리 작업자 교육에 적합
• 단점: 가격이 높고, 장시간 착용 시 무게 부담 있음

https://www.youtube.com/watch?v=vfqjZiLvL8w

✅ Magic Leap One

• 디자이너/크리에이터가 선호하는 장비
• 단점: 안경 착용자 불편, 본체 분리형이라 케이블 연결 필요
  
  https://www.youtube.com/watch?v=B7w_rSIAjdg

https://www.youtube.com/watch?v=N6QRmecHCcE&t=4s

✅ Meta 2

• 실험실/연구용으로 적합, 시야각은 넓지만 제품 완성도는 낮음

https://www.youtube.com/watch?v=ZlnkR_zl6b0

✅ Meta 3

https://www.youtube.com/watch?v=ifYsK8Xp4Wk&t=3s

✅비전프로

https://www.youtube.com/watch?v=iQWBT5AJXTE

📈 총평

📘 이론적 배경

• **혼합현실(MR)**은 현실세계와 가상세계의 요소가 실시간으로 상호작용하는 환경을 의미합니다.
• AR(증강현실)은 현실에 정보 추가, VR(가상현실)은 완전한 가상공간에 몰입
  → MR은 이 둘을 융합하여 현실과 가상이 상호작용합니다.

📊 비교 표

🎯 MR의 핵심 기술 구성

• 공간 인식(SLAM): 물리 공간의 지도 작성 및 객체 인식
• 3D 렌더링: 실시간 렌더링 및 AR 모델의 위치 고정
• 제스처/시선 추적: 손동작, 시선으로 가상 객체 조작
• 센서 융합: IMU, RGB, Depth 센서 등

📷 이론 도식 이미지 추천: “MR = AR + 인터랙션 + 공간 인식”

https://www.youtube.com/watch?v=EEh28cjRcSg

🧠 활용 분야

• 스마트팩토리 현장 교육
• 원격 유지보수
• 의학 수술 시뮬레이션
• AR 협업/디자인 리뷰

NFT 기술을 직접 체험하며 내가 만든 디지털 아트를 블록체인 자산화하고, Unity를 활용해 이를 전시할 수 있는 가상 미술관을 구현하는 프로젝트를 진행했습니다.
이번 포스팅에서는 NFT 발행(Minting)부터 Unity 연동까지 전체 흐름을 정리해 공유합니다.

🧠 NFT 제작 아키텍처

📷 아키텍처 PPT 일부 시각화

🧩 NFT Minting 과정 요약

1. 디지털 작품 생성 (PNG, JPG, GIF 등)
2. 메타데이터(JSON) 작성
   • 제목, 설명, 이미지 링크, 크리에이터 정보 등 포함
3. IPFS 또는 Web3 Storage 업로드
   • 탈중앙화 파일 시스템에 저장하여 고유 URI 생성
4. 스마트 컨트랙트 호출
   • Ethereum 기반 ERC-721, Polygon 등에서 NFT 발행
5. 메타마스크 지갑 연동 → NFT 자산 등록 완료

🖼️ Unity 가상 미술관 구현

📦 전시 구성 방식

• Unity에서 3D 공간 설계 (갤러리 구조 제작)
• 각 벽에 NFT 이미지, 메타데이터를 API 또는 파일로 연동
• WebGL 또는 VR 기기로 배포 가능

🎮 Unity 예시 화면

https://www.youtube.com/watch?v=tUWqeo5BB9Q

⛓️ NFT 연동 방식

• Web3 API 또는 Moralis, Alchemy 등 사용
• NFT 소유자 주소, 토큰 ID로 해당 작품 매칭
• JSON 정보 기반으로 Unity 내 이미지/텍스트 동적 배치

💡 배운 점 & 활용 아이디어

🧩 사용 기술 스택

• NFT 플랫폼: Ethereum (ERC-721), IPFS
• 지갑: MetaMask
• 연동 툴: Web3.js, Moralis SDK
• 엔진: Unity 2021, WebGL 빌드
• 배포: 개인 서버 or NFT Gallery Web

2021년 ‘스마트팩토리 소프트웨어 개발자 양성과정’에서 AR 콘텐츠 제작을 직접 강의하고, 교육생들과 함께 만든 결과물을 코엑스 전시회에 출품한 경험을 공유하고자 합니다.
단순한 강의에서 끝나지 않고, 교육생들이 실무에 가까운 수준의 콘텐츠를 제작하고, 실제 산업계 전문가들에게 발표할 수 있도록 연결된 값진 과정이었습니다.

🧠 교육 내용 요약 – AR을 활용한 스마트팩토리 구현

▶ 강의 내용

• Unity 기반 AR 콘텐츠 제작 실습
• AR Foundation을 이용한 산업 장비 모델링 + 센서 시뮬레이션
• 스마트팩토리 시나리오 기반의 콘텐츠 구성법 (예: 작업자 안내, 설비 이상 감지)

▶ 실습 과제 예시

• PLC 제어 패널을 인식하여 3D 모델과 가동 상태를 시각화
• 스마트공장 설비에서 온도/습도 센서값에 따라 작동 애니메이션 변형
• AR 기기로 설비 상태 점검 시나리오 구현

https://www.youtube.com/watch?v=cmZokhGmvWI

🎓 교육생과 함께 만든 프로젝트

전시회에서는 **“메타버스 기반 AR 공장 설비 점검 콘텐츠”**를 출품했습니다.

• 실제 센서 데이터를 Unity에서 시각화
• 건물 구조와 내부 설비를 3D 모델로 구현
• 사용자가 직접 기기를 통해 설비 상태를 점검하고, 이상 여부를 판단하는 체험형 콘텐츠로 구성

📷 프로젝트 시연 장면

🏢 코엑스 전시회 참가 후기

• BYMETA 부스에서 AR/MR 솔루션을 선보이며 많은 관계자들과 실제 산업 적용 가능성에 대해 소통했습니다.
• 교육생들이 자신 있게 발표하고, 현장 전문가들에게 피드백을 받은 것이 큰 의미였습니다.
• “교육-제작-전시-피드백”의 선순환 구조를 체험할 수 있었던 값진 기회였습니다.

📷 교육생과 함께한 현장 발표 장면

🔧 사용 기술 스택

• Unity 2021, AR Foundation, Blender (모델링)
• Android AR 기기
• MQTT 센서 시뮬레이션
• OPC UA 연동 실험도 일부 진행

🧩 느낀 점

이론과 실습을 겸한 교육은 물론, 성과물을 실질적인 결과물로 연결하는 과정이 무엇보다 중요하다는 걸 다시금 느꼈습니다.
향후에는 디지털트윈 + AR 기반의 프로젝트를 확장하여, 설비 유지보수/현장 작업자 교육/원격 모니터링까지 실제 기업과 협업할 수 있는 방향으로 이어갈 예정입니다.

🎬 옵틱 모션캡처(Optical Motion Capture)란?

옵틱 모션캡처 기술은 카메라 기반의 외부 추적 시스템으로, 배우나 사용자의 신체 움직임을 실시간으로 3D 데이터화하여 가상 캐릭터에 적용하는 기술입니다.

이 기술은 영화 <아바타>, 게임 <라스트 오브 어스>와 같은 고퀄리티 애니메이션 및 게임 개발에 핵심적으로 사용됩니다.

🧍‍♂️ 착용형 옵틱 장비 구성

1. 전신 수트 + 반사 마커 부착
   • 신체 주요 관절에 반사 마커를 부착하여 광학 카메라가 위치·움직임을 정밀하게 추적합니다.
2. 멀티 카메라 트래킹 시스템
   • 6~20대의 적외선 카메라가 마커 위치를 3차원 좌표로 계산
   • 카메라가 서로 다른 각도에서 데이터를 취합하여 정확한 모션을 재구성합니다

📷 실제 장비 착용 사진

🧠 데이터 처리 과정

🧑‍💻 Unity에서 캐릭터 움직임 연동

▶ 기본 구성

• Unity + Mecanim 애니메이션 시스템
• MotionBuilder 또는 Rokoko Studio → FBX → Unity로 연동

https://www.youtube.com/watch?v=k-fBnRhziRU

🌐 활용 분야

• VR/AR 실감형 콘텐츠 제작
• 메타버스 아바타 애니메이션
• 산업교육/리허설/시뮬레이션

📝 마무리

옵틱 모션캡처는 단순한 애니메이션 기술을 넘어, 가상공간 속 실제감 있는 인터랙션을 구현하는 핵심 기술입니다.
앞으로 Unity, Unreal 기반의 XR 콘텐츠에 더욱 폭넓게 활용될 것으로 예상됩니다.

✍️ 작성 배경 및 목적

최근 제조 산업에서 **협동 로봇(Co-bot)**의 도입이 증가함에 따라, 이들의 고장 원인 진단 및 비정상 동작 분석의 중요성이 부각되고 있습니다. 그러나 기존 시스템은 대부분 정적 로그 수집 및 단편적인 고장 알람에 의존하고 있어 신속하고 정확한 원인 파악에 어려움이 있었습니다.
본 연구는 이러한 문제점을 해결하기 위해 디지털 트윈(Digital Twin) 기반의 실시간 모니터링 및 분석 시스템을 구축하고, 고장 발생 시 즉각적으로 결합 원인을 추론할 수 있는 프레임워크를 제안합니다.

📌 핵심 연구 내용 요약

1. 디지털 트윈 기반 구조 설계
   • 센서 데이터를 기반으로 협동 로봇의 실시간 동작을 가상공간에서 재현
   • 가상 모델과 실제 동작 비교를 통해 이상 여부 및 원인 판단
2. 고장 진단 로직 및 결합 분석 알고리즘
   • 동작 상태, 조인트 정보, PID 제어 입력, 경로 데이터 등 다차원 요소 분석
   • 시간 기반 고장 이력 + 조건 매칭 기법으로 원인 유추
3. IoT 통합 환경 구현
   • 센서, 제어기기, 로봇 암의 통합 데이터 연동
   • 시리얼 통신 및 MQTT 등 IoT 인터페이스 적용
4. 실험 적용 사례
   • 가상 시뮬레이션 및 실제 협동 로봇 동작 비교 실험 수행
   • 시각화 툴(Unity 또는 WebGL 기반)로 실시간 조작 및 로그 분석 가능

논문 링크:
https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART003068220

🎯 이 논문을 쓰게 된 이유

• 실제 제조 현장에서 고장이 반복 발생함에도 불구하고 원인 분석이 어렵고 비효율적이라는 산업계 피드백을 기반으로,
• 기존 로깅 방식이나 정적 제어 로그만으로는 협동 로봇의 물리적 고장, 알고리즘 오류, 센서 불일치 등을 파악하기 어렵다는 문제의식을 가지고 시작되었습니다.

🧩 활용 기대 효과

• 설비 유지보수 비용 감소
• 고장 추적 속도 향상
• 제조 라인 생산성 향상
• AI 기반 고장 예지 보완 가능

**디지털 트윈(Digital Twin)**이란, 

현실 세계의 사물·시스템을 가상공간에 실시간으로 복제하여 시뮬레이션하고 예측할 수 있는 기술

산업현장의 센서 데이터를 실시간 수집하여 Unity 등의 3D 엔진으로 시각화하고, IoT와 연동하여 예지보전, 원격제어, 공정 최적화 등을 실현

🔍 디지털 트윈의 정의

• 정의: 물리적 객체(설비, 기계, 공정)의 디지털 복제본(3d 모델)
• 구성 요소
  • 물리 시스템: 공장, 설비, 장비
  • 디지털 모델: Unity, Unreal 등으로 구현된 3D 환경
  • 연결 인터페이스: IoT 센서, Arduino, PLC, OPC-UA 등
  • 양방향 통신: 실제 장비와 가상의 트윈 간 상태 동기화

🧠 디지털 트윈 기술 구성도

아두이노 + 가상 모터 제어

https://www.youtube.com/watch?v=ZELoWEx5lM0&list=PLRynT3Cy0vZci5GoPZL7z5-obndSOOxJi

💡 주요 특성

• 실시간 데이터 통합 (온도, 습도, 압력, 속도 등)
• 고급 시뮬레이션 + 예측 기능 내장
• 분석 및 유지보수 자동화

🌍 실제 활용 분야

• 스마트팩토리: 설비 상태 실시간 점검, 예지보수
• 항만/물류: 위치 기반 자산 추적 및 경로 최적화
• 스마트시티: 세종, 인천, 전주 디지털 국토 구현
• 조선/플랜트: 포스코, 현대중공업, 대우조선 등에서 도입

스마트팜 + iot 센서 연
https://www.youtube.com/watch?v=q_rj3KDXCOY

✅ 개요

Unity와 Arduino를 시리얼 통신(Serial)을 통해 연동하여 로봇 팔을 실시간으로 제어하는 방법을 다룹니다.
디지털 트윈 관점에서 Unity는 가상 공간의 인터페이스를 제공하고, Arduino는 실제 하드웨어의 동작을 제어합니다.

🧩 사용 구성요소

🧠 이론: 시리얼 통신 기반 로봇 제어 원리

• Serial.write() / Serial.read() 사용
• Unity → Arduino : 제어 명령 전송 ("M1:90,M2:45" 등)
• Arduino → Unity : 센서 피드백 또는 상태 전송 가능

예: "M1" = Motor1에 90도 회전 명령

🌀 PWM (Pulse Width Modulation)이란?

**PWM(Pulse Width Modulation)**은 전압의 평균값을 조절하는 방식으로, 디지털 신호로 아날로그 제어 효과를 구현할 수 있습니다. 서보모터 제어에 핵심적인 기술입니다.

• 마이크로컨트롤러(예: Arduino)는 **HIGH(5V)와 LOW(0V)**의 펄스 신호를 빠르게 반복해서 전송
• 이 펄스의 **폭(Width)**을 조절해 모터의 각도를 제어함

📐 서보모터와 PWM의 관계

서보모터는 일반적으로 **50Hz 주기(20ms)**를 기준으로 신호를 받고,
펄스의 폭(High 상태의 시간)을 통해 **회전 각도(0~180도)**를 결정합니다.

https://www.youtube.com/shorts/nPPi-kBciaQ

🔍 디지털 트윈 적용 포인트