피지컬 AI 스택 한 번에 정리: 센서 → 모델 → 제어

“요즘 AI 얘기하면 다들 GPT, 멀티모달만 떠올리는데, 사실 빅테크들이 더 크게 베팅하는 건 ‘피지컬 AI’다.”

• 테슬라 로봇
• Figure AI
• 엔비디아 로봇 플랫폼
• OpenAI + 로봇 스타트업 협업

👉 “이제 AI는 말만 하는 존재가 아니라, 움직이는 존재가 됐다” 

---

✍️ 피지컬 AI 한 방에 개념 정리

피지컬 AI = 현실 세계에서 센서로 보고, 판단하고, 몸을 움직이는 AI

 

구성요소:

[센서] → [인지 모델(Vision, LLM)] → [계획(Planning)] → [제어(Control)] → [모터/로봇]

 

https://youtu.be/98RXxoeAgS0

 

---

✍️ 실제 개발 스택 

기술 스택 

• 시뮬레이터:
  • Isaac Sim
  • MuJoCo
  • Gazebo
  • Unity / Unreal
• 인지 모델:
  • YOLO, SAM, CLIP
  • GPT-4o / 멀티모달 LLM
• 제어:
  • RL (PPO, SAC)
  • MPC
  • Behavior Tree
• 통신:
  • ROS2
  • DDS
  • WebSocket

👉 “피지컬 AI는 소프트웨어 + 로봇공학 + 강화학습” 

---

✍️ 개발하다가 겪는 현실 

• 시뮬레이터에선 잘 되는데 현실에선 망함 (Sim2Real)
• 센서 노이즈 지옥
• 로봇 팔 미세 진동 때문에 제어 알고리즘 폭망
• LLM이 계획은 잘 짜는데 물리적으로 불가능한 명령 내림

---

✍️ 앞으로 중요 포인트

• 멀티모달 + 로봇 결합
• 월드 모델(World Model)
• 강화학습 + 대규모 데이터
• 가정용 로봇, 물류 자동화, 제조 로봇

“웹이 AI를 키웠다면, 현실 세계는 피지컬 AI를 키운다”

---

✍️ 마무리

• 입문자라면:
  • 로봇 시뮬레이터부터 만져보기
    https://youtube.com/shorts/lWMc4jtGyeA
  • ROS2 + Vision + 간단한 제어 프로젝트 추천
    https://youtu.be/-xRlbJzxBzU
• 커리어 방향:
  • “AI 개발자 → 로봇 AI 개발자”