“AI에게 방 청소를 부탁하면 정말 청소를 해줄 수 있을까?”
지금 우리가 자주 사용하는 생성형 AI는 질문에 답하고, 글을 쓰고, 그림을 그리는 데 능숙합니다.
하지만 방바닥에 떨어진 양말을 직접 줍거나, 냉장고에서 음료를 꺼내 주지는 못합니다.
아무리 똑똑해도 컴퓨터나 스마트폰 화면 안에 머물러 있기 때문입니다.
그런데 AI가 카메라로 주변을 보고, 스스로 판단한 뒤, 로봇의 팔과 다리를 움직일 수 있다면 어떨까요?
이렇게 현실 세계를 인식하고, 판단하고, 직접 행동하는 인공지능을 ‘피지컬 AI(Physical AI)’라고 합니다.
피지컬 AI는 자율주행차나 로봇처럼 AI가 가상공간을 넘어 실제 환경과 상호작용하는 기술입니다.
한 줄 정의
피지컬 AI는 센서로 현실을 인식하고, AI로 상황을 판단한 뒤,
로봇이나 자동차 같은 기계를 움직이는 인공지능입니다.
쉽게 말하면, 생성형 AI가 ‘똑똑한 두뇌’라면
피지컬 AI는 여기에 눈, 귀, 피부, 손과 발까지 더한 AI라고 할 수 있습니다.
[여기서 잠깐!] 왜 갑자기 피지컬 AI가 주목받을까?
2024년 엔비디아(NVIDIA) CEO 젠슨 황은 "Physical AI is the next big thing(피지컬 AI가 AI의 다음 큰 물결이 될 것)"이라고 말하며, AI 산업의 다음 단계로 피지컬 AI를 강조했습니다. 그는 앞으로 AI가 컴퓨터 화면 속에서 답변만 하는 것이 아니라, 로봇과 자율주행차 같은 기계의 '두뇌'가 되어 현실 세계에서 직접 움직이게 될 것이라고 전망했습니다.
실제로 최근 휴머노이드 로봇, 자율주행차, 스마트팩토리에 대한 투자가 빠르게 늘어나고 있습니다. 이러한 기술들의 공통점은 모두 주변 환경을 스스로 인식하고 판단해 실제로 행동한다는 것입니다.
전문가들은 생성형 AI가 인간의 지식 업무를 돕는 기술이라면, 피지컬 AI는 현실 공간에서 사람을 대신해 일하는 기술로 발전할 것으로 보고 있습니다.
생성형 AI와 피지컬 AI는 무엇이 다를까?
생성형 AI와 피지컬 AI의 가장 큰 차이는 ‘실제로 움직이느냐’에 있습니다.
생성형 AI에게 “책상을 정리하는 방법을 알려줘”라고 말하면 정리 순서와 방법을 글로 설명해 줍니다.
반면 피지컬 AI가 적용된 로봇은 카메라로 책상 위 물건을 확인하고, 어떤 물건부터 치울지 판단한 뒤,
로봇 팔을 움직여 직접 정리할 수 있습니다.
| 구분 | 생성형 AI | 피지컬 AI |
| 활동 공간 | 컴퓨터와 스마트폰 등 디지털 공간 | 도로, 공장, 가정 등 현실 공간 |
| 주요 역할 | 글, 이미지, 영상, 코드 생성 | 현실 인식, 판단, 이동과 작업 |
| 대표 사례 | AI 챗봇, 이미지 생성 AI | 자율주행차, 로봇, 드론, 자율공장 |
| 필요한 기술 | 데이터, AI 모델, 컴퓨팅 | AI 모델, 센서, 소프트웨어, 기계 장치 |
피지컬 AI는 단순히 명령받은 동작을 반복하는 기존 자동화 기계와도 다릅니다.
정해진 위치에서 같은 작업만 반복하는 것이 아니라, 주변 환경이 달라지면 이를 다시 살피고 행동을 조정해야 합니다.
가령 공장에서 부품의 위치가 조금 바뀌었을 때 기존 로봇은 작업을 멈출 수 있습니다.
하지만 피지컬 AI 로봇은 카메라와 센서로 달라진 위치를 확인하고,
새로운 위치에 맞춰 팔의 움직임을 조절할 수 있습니다.
피지컬 AI는 어떻게 움직일까?
피지컬 AI가 움직이는 과정은 사람의 행동과 비슷합니다.
우리가 길을 걸을 때를 생각해 보면 눈으로 장애물을 발견하고,
머리로 피할 방향을 판단한 뒤, 다리를 움직여 옆으로 비켜갑니다.
피지컬 AI도 이와 마찬가지로 인지, 판단, 행동의 과정을 반복합니다.
1. 인지: 주변을 보고 느낀다
피지컬 AI의 첫 단계는 주변 환경을 알아보는 것입니다.
이를 위해 카메라, 라이다, 레이더, 마이크,
관성 센서, 촉각 센서 등이 사용됩니다.
카메라는 물체의 모양과 색을 보고, 라이다는 레이저를 이용해 물체까지의 거리와 공간 구조를 파악합니다.
레이더는 전파를 이용해 물체의 거리와 움직임을 감지합니다.
촉각 센서는 로봇이 물건을 얼마나 세게 잡고 있는지 느끼도록 돕습니다.
이 센서들은 사람의 감각기관과 비슷합니다.
• 카메라와 라이다: 눈
• 마이크: 귀
• 촉각 센서: 피부
• 관성 센서: 몸의 기울기와 균형 감각
2. 판단: 무엇을 해야 할지 생각한다
센서가 정보를 모으면 AI가 그 의미를 분석합니다.
예를 들어 자율주행차 카메라가 도로 위 공을 발견했다고 가정해 봅시다.
AI는 단순히 “공이 있다”고 알아보는 데서 끝나지 않습니다.
공을 따라 어린이가 도로로 뛰어나올 가능성까지 고려해
속도를 줄이거나 차량을 멈추는 판단을 내려야 합니다.
[여기서 잠깐!] 피지컬 AI는 어떻게 미래를 예측할까?
사람은 공이 굴러가면 앞으로 어디로 움직일지 예상할 수 있습니다. 피지컬 AI도 미래 상황을 예측해야 합니다. 이를 위해 AI는 주변 환경을 가상의 세계처럼 이해하고 다음 상황을 예측하는데, 이를 세계 모델(World Model) 이라고 부릅니다.
세계 모델(World Model)은 인공지능이 단순한 언어·이미지 처리 단계를 넘어 물리 세계의 구조와 동역학을 이해하고 미래 상태를 예측할 수 있도록 하는 핵심 기술입니다.
공이 차도에 굴러들어오면 어린아이가 따라올 가능성을 예상하는 것도 세계 모델의 역할입니다.
피지컬 AI는 현실에서 행동하기 때문에 글을 잘 쓰는 것만으로는 충분하지 않습니다.
주변 물체가 어디에 있고, 얼마나 빠르게 움직이며, 어떤 행동이 안전한지를 함께 이해해야 합니다.
3. 행동: 기계를 실제로 움직인다
판단이 끝나면 모터와 액추에이터 같은 장치가 로봇의 팔과 다리, 자동차의 핸들과 브레이크를 움직입니다.
로봇이 계란을 집는 상황이라면 너무 약하게 잡아 떨어뜨리지도,
너무 세게 잡아 깨뜨리지도 않아야 합니다.
센서로 압력을 계속 확인하면서 손가락의 힘을 조절해야 합니다.
4. 학습: 결과를 확인하고 더 나아진다
피지컬 AI는 행동한 결과를 다시 센서로 확인합니다.
원하는 결과가 나오지 않았다면 다음 행동을 수정합니다.
즉, 다음 과정이 계속 이어집니다.
인지 → 판단 → 행동 → 결과 확인 → 다시 판단
이러한 반복 과정을 ‘피드백 루프’ 또는 ‘닫힌 고리’라고 부릅니다.
피지컬 AI는 이 과정을 빠르게 반복하면서 변화하는 현실에 대응합니다.
[여기서 잠깐] 휴머노이드 로봇은 어떻게 학습을 할까?
요즘 가장 많이 활용되고 있는 방법은 텔레 오퍼레이션(Tele-Operation)입니다. 사람의 행동을 보고 로봇이 따라 배우는 방식입니다. 이 방식은 로봇의 학습 시간을 크게 줄일 수 있습니다. 로봇이 처음부터 무작위로 움직이며 정답을 찾는 대신, 사람의 시연을 출발점으로 삼기 때문입니다.
하지만 현실에서 로봇을 매번 학습시키는 것은 시간이 오래 걸리고 비용도 많이 듭니다. 그래서 최근에는 가상공간에서 수천만 번의 시행착오를 경험한 뒤 현실에 적용하는 방식이 활용되고 있습니다. 이를 시뮬레이션 학습이라고 부릅니다.
그래서 피지컬 AI 학습에는 보통 시뮬레이션 데이터와 실제 데이터를 함께 사용합니다. 먼저 시뮬레이션을 통해 많은 시행착오를 겪게 하고, 그다음 실제 환경에서 조금 더 훈련하며 파인 튜닝을 거치고 있습니다.
피지컬 AI는 어디에서 사용될까?
피지컬 AI는 미래 영화 속 기술처럼 보이지만, 이미 여러 산업에서 활용되거나 개발되고 있습니다.
자율주행차
자율주행차는 피지컬 AI를 이해하기 가장 쉬운 사례입니다.
차량은 카메라, 레이더, 라이다 등으로 차선과 신호등, 보행자, 다른 차량을 확인합니다.
AI는 이 정보를 바탕으로 속도를 높이거나 줄이고, 방향을 바꾸며, 위험한 상황에서는 차량을 멈춥니다.
하지만 비 오는 날에는 카메라 성능이 떨어질 수 있고,
복잡한 도심에서는 특정 센서만으로 상황을 파악하기 어려울 수 있습니다.
그래서 자율주행차는 카메라, 라이다, 레이더의 정보를 통합해 판단하는 센서 퓨전 기술을 사용합니다.
사람도 눈뿐 아니라 청각과 균형감각을 함께 활용하는 것과 같습니다.
로봇
물류창고의 운반 로봇, 공장의 조립 로봇, 음식점의 서빙 로봇도 피지컬 AI와 연결됩니다.
앞으로는 사람의 말을 이해하고 여러 종류의 물건을 다룰 수 있는 휴머노이드 로봇 활용도 늘어날 것으로 예상됩니다.
특히 로봇이 사람과 같은 공간에서 활동하려면 주변을 정확하게 보는
비전 센싱 기술과 물체 접촉 및 압력을 느끼는 촉각 센싱 기술이 중요합니다.
여러 센서의 정보를 하나로 합쳐 판단하는 ‘센서 퓨전’도 핵심 기술로 꼽힙니다.
스마트팩토리
기존 자동화 공장은 정해진 규칙에 따라 움직이는 경우가 많았습니다.
피지컬 AI가 적용된 자율공장은 설비와 제품의 상태를 실시간으로 파악하고,
문제가 생길 가능성을 예측하며, 공정 조건을 조절할 수 있습니다.
예를 들어 카메라가 제품의 작은 이상을 발견하면 AI가 원인을 분석하고,
관련 설비의 속도나 위치를 조정하는 방식입니다.
드론과 재난 대응
피지컬 AI 드론과 로봇은 사람이 들어가기 어려운 화재 현장이나 붕괴 위험 지역을 살필 수 있습니다.
주변 구조물을 인식해 안전한 이동 경로를 찾고, 필요한 정보를 구조대에 전달할 수 있습니다.
가정과 생활
로봇청소기도 주변을 인식하고 움직인다는 점에서 피지컬 AI의 기초적인 모습을 보여줍니다.
앞으로 가정용 로봇은 방을 청소하는 것뿐 아니라 물건을 정리하고, 필요한 물건을 가져오며,
고령자의 생활을 돕는 방향으로 발전할 수 있습니다.
피지컬 AI 시대에 센서가 중요한 이유는 무엇일까?
사람이 눈을 감고 귀를 막은 채 복잡한 길을 걷기는 어렵습니다.
로봇도 마찬가지입니다.
AI의 두뇌가 아무리 똑똑해도 현실을 정확하게 보는 센서가 없다면 안전하게 움직일 수 없습니다.
이는 눈을 감은 채 운전하는 것과 같습니다.
피지컬 AI 시대에는 AI 성능만큼 센서 성능이 중요해지는 이유입니다.
자율주행차와 로봇은 밝은 낮뿐 아니라 어두운 밤, 비가 오는 도로,
물체가 많은 공장처럼 다양한 환경에서 작동해야 합니다.
그래서 한 종류의 센서에만 의존하기보다 여러 센서를 함께 사용하는 경우가 많습니다.
카메라는 물체의 모양과 색을 정밀하게 볼 수 있고,
라이다는 공간과 거리를 입체적으로 파악하는 데 활용됩니다.
레이더는 물체의 거리와 움직임을 감지합니다.
AI는 이 정보를 종합해 주변 상황을 이해합니다.
이처럼 여러 센서의 정보를 합치는 기술을 복합 센싱 또는 센서 퓨전이라고 합니다.
피지컬 AI가 현실에서 정확하고 안전하게 움직이기 위해서는 AI의 두뇌뿐 아니라,
세상을 제대로 느끼게 해주는 센서 기술도 함께 발전해야 합니다.
LG이노텍은 피지컬 AI 시대를 어떻게 준비하고 있을까?
피지컬 AI가 현실에서 움직이려면 주변을 정확하게 보는 ‘눈’과 움직임을 느끼는 ‘감각기관’이 필요합니다.
LG이노텍은 스마트폰과 자동차 분야에서 축적해 온 광학 및 센싱 기술을 자율주행차와 로봇으로 확대하고 있습니다.
LG이노텍은 카메라, 라이다, 레이더를 결합한 복합 센싱 솔루션을 중심으로 피지컬 AI 시장을 공략하고 있습니다.
또한 개별 부품만 공급하는 것을 넘어 센서 하드웨어와 소프트웨어,
실제 주행 데이터를 결합한 솔루션 기업으로 사업 영역을 넓히고 있습니다
LG이노텍이 피지컬 AI 시대를 위해 준비하고 있는 기술 이야기는 다음 편에서 쉽고 자세하게 소개해 드리겠습니다.
