[몸을 얻은 AI] 01 : 화면 밖으로 나온 AI
인식, 판단, 행동이 하나의 루프로 돌아갈 때 달라지는 것
AI는 이제 말을 잘한다. 다음 과제는 컵을 집는 일이다.
대규모 언어모델은 몇 년 사이에 코드를 짜고, 계약서를 요약하고, 시험 문제를 풀게 되었다. 그런데 같은 모델이 책상 위의 컵을 집어 싱크대에 옮기는 일은 아직 쉽게 하지 못한다. 사람에게는 반대다. 컵을 옮기는 일은 아이도 하고, 계약서 요약은 훈련받은 사람만 한다.
이 연재는 그 격차에서 출발한다. 엔비디아가 ‘피지컬 AI’라는 이름으로 밀어 올리고, 휴머노이드 로봇 기업들이 대규모 투자를 받는 이 분야는 무엇이 다르고, 왜 어렵고, 어디서 돈이 되는가. 총 12편이며, 1회에서는 개념과 구조를 잡는다. 다음 회부터 모델, 학습, 데이터, 하드웨어로 한 겹씩 들어간다.
같은 AI인데 왜 다른 문제인가
챗봇의 일은 한 방향이다. 텍스트가 들어오면 텍스트가 나간다. 답이 어색하면 사용자가 다시 묻는다. 세계는 대화창 바깥에 그대로 있고, 모델의 출력이 세계를 바꾸지 않는다.
피지컬 AI는 구조가 다르다. 센서로 주변을 읽고, 모델이 무엇을 할지 정하고, 관절이나 바퀴가 실제로 움직인다. 그 움직임이 세계를 바꾸고, 바뀐 세계가 다시 센서에 들어온다. 출력이 다음 입력을 만드는 닫힌 루프다.
필자가 정리한 개념도이다. 센서 종류와 처리 방식은 로봇마다 다르다.
이 구조에서 차이가 하나 더 생긴다. 챗봇의 실수는 문장 하나로 끝나지만, 로봇의 실수는 컵이 깨지거나 사람이 다치는 일로 이어질 수 있다. 되돌릴 수 없는 행동이 있고, 오차가 쌓이면 다음 판단이 더 나빠진다. 피지컬 AI에서 정확도만큼 안전과 예측 가능성이 중요해지는 이유다.
루프가 도는 속도
닫힌 루프에서는 속도가 곧 품질이다. 모델이 판단하는 데 오래 걸리면 그 사이 세계가 움직인다. 날아오는 공을 잡거나, 손에서 미끄러지는 물건을 붙드는 일처럼 반응이 늦으면 아예 성립하지 않는 동작이 있다.
로봇 제어에서는 이를 제어 주기, 곧 초당 몇 번 센서를 읽고 명령을 내리는가로 말한다. 대형 모델과 실시간 제어 사이의 긴장이 여기서 드러난다. 구글 딥마인드의 RT-2는 거대한 시각-언어 모델을 로봇 제어에 그대로 쓴 초기 사례다. 논문에 따르면 550억 파라미터 모델은 약 1~3Hz, 50억 파라미터 모델은 약 5Hz로 돌았고, 모델이 로봇 안이 아니라 멀티 TPU 클라우드 서비스에 올라가 네트워크로 질의하는 구조였다. 반면 Physical Intelligence의 π0 논문은 빨래 개기 같은 정교한 과제에서 최대 50Hz로 로봇을 제어할 수 있다고 쓴다. 같은 시각-언어 모델 계열이어도 설계에 따라 제어 속도가 열 배 이상 벌어진다.
이 간극을 메우는 방법으로 최근 휴머노이드 기업들이 택한 것이 두 층 구조다. 느리지만 똑똑한 모델이 장면을 이해하고 큰 방향을 정하면, 빠르고 작은 정책이 그 지시를 받아 관절을 부드럽게 움직인다. 피규어 AI의 Helix가 대표적이다. 피규어의 공개 설명에서 System 2는 인터넷으로 사전학습한 시각-언어 모델로 7~9Hz, System 1은 이를 연속 동작으로 바꾸는 시각-운동 정책으로 200Hz이며, 35자유도의 행동 공간을 제어한다. 엔비디아의 GR00T N1도 논문 초록에서 스스로를 이중 시스템 구조의 VLA 모델이라 소개한다. 환경을 해석하는 시각-언어 모듈이 System 2, 실시간으로 유연한 동작을 만드는 확산 트랜스포머 모듈이 System 1이다. 사람이 “컵을 싱크대에 넣어”라고 의식적으로 정하는 동안, 팔은 알아서 거리를 맞추는 것과 비슷하다. 어느 층이 무엇을 맡는지는 2회부터 차례로 본다.
Figure AI가 공개한 Helix 설명의 수치를 바탕으로 필자가 그렸다. 층마다 맡는 일과 속도가 다르다.
쉬운 일이 어려운 이유
로봇이 왜 이렇게 어려운가에 대한 오래된 답이 모라벡의 역설이다. 로보틱스 연구자 한스 모라벡이 1980년대에 제시했고, 마빈 민스키와 로드니 브룩스도 같은 취지로 말했다. 체스나 수학처럼 사람에게 어려운 일은 기계에게 비교적 쉽고, 물건을 집거나 걷는 것처럼 아이도 하는 일은 기계에게 극도로 어렵다는 관찰이다.
이유는 진화에서 찾는다. 추상적 추론은 인류 진화에서 비교적 최근의 능력이고, 의식적으로 수행되며, 구조가 얕아서 규칙으로 옮기기 쉽다. 손과 눈을 쓰는 능력은 수억 년에 걸쳐 다듬어졌고, 의식 아래의 병렬적인 신경 구조에 들어 있다. 우리는 그것을 어떻게 하는지 말로 설명하지 못한다. 설명하지 못하는 것은 프로그램으로 짜기도 어렵다.
Envisioning의 개념 정리와 Physical Intelligence의 설명을 바탕으로 필자가 정리했다.
Physical Intelligence가 최근 글에서 이 역설을 직접 거론했다. 체스 컴퓨터가 최선의 수는 골랐지만 말을 직접 옮기지는 못했다는 이야기에서 시작해, 오늘의 언어모델이 올림피아드급 수학 문제를 풀면서도 연필로 답을 쓰지 못한다는 점을 같은 맥락에 놓는다. 이 회사의 설명으로는 글로 된 지식만으로는 물리적 기술이 충분히 전달되지 않기 때문에, 실제 로봇 행동 데이터로 사전학습한 모델이 필요하다. 벤지 홀슨이 제안한 ‘로봇 올림픽’ 과제로 비교한 결과, 일반 시각-언어 모델만 미세조정한 기준 모델은 평균 과제 진행도가 9%에 그쳤고, π0.6을 미세조정한 정책은 72%(평균 성공률 52%)였다고 한다. 기업이 자사 모델에 대해 낸 수치이고 과제별 세부 결과는 공개되어 있지 않아 검증하기 어렵다. 그대로 일반화하기보다 방향을 보여 주는 사례로 읽는 편이 안전하다.
여기서 이 연재 전체를 관통하는 질문 하나가 나온다. 언어모델은 인터넷이라는 거대한 텍스트 창고에서 배웠다. 로봇의 행동 데이터는 그런 창고가 없다. 4회에서 이 문제를 따로 다룬다.
행동도 토큰이 될 수 있다
피지컬 AI가 지금 빠르게 움직이는 이유는, 이 문제를 언어모델의 문법으로 다시 쓸 수 있게 되었기 때문이다. 2023년 RT-2 논문(브로한 외)이 보인 방식은 이렇다. 로봇의 행동, 곧 손끝이 어느 방향으로 얼마나 움직일지, 그리퍼를 쥘지 놓을지를 숫자로 나누고, 자유도마다 256개 구간으로 쪼개 텍스트 토큰처럼 취급한다. 그러면 언어모델은 “다음 단어”를 예측하듯 “다음 행동”을 예측한다.
덕분에 인터넷의 이미지와 텍스트로 사전학습한 시각-언어 모델을 거의 그대로 가져와 로봇 데이터로 미세조정할 수 있다. 이런 모델을 VLA(Vision-Language-Action) 모델이라 부른다. RT-2, 스탠퍼드의 OpenVLA, π0 등이 이 계열이다. 행동을 이산 토큰으로 내놓을지, 연속 값으로 내놓을지에 따라 설계가 갈리는데, 이 갈림길이 2회의 주제다.
Brohan 외(2023)와 DeepMind의 공개 설명을 바탕으로 필자가 그렸다. 언어모델의 “다음 단어 예측”이 “다음 행동 예측”이 된다.
VLA 모델이 실제 로봇에서 어떻게 움직이는지 보여 주는 공식 영상이다.
2층 구조의 Helix가 쓰이는 사례를 담은 공식 영상이다.
- RT-2 (Google DeepMind): 행동 토큰으로 움직이는 로봇의 데모. robotics-transformer2.github.io
- π0 (Physical Intelligence): 빨래 개기, 상자 조립, 식기 정리 등 여러 로봇 몸체의 시연. pi.website/blog/pi0
- Helix (Figure AI): 두 층 구조 휴머노이드의 시연과 구조 설명. figure.ai/news/helix
판을 키우는 쪽의 서사
이 흐름을 가장 큰 목소리로 정리한 사람이 엔비디아의 젠슨 황이다. CES 2025 기조연설에서 그는 에이전틱 AI가 이제 막 문턱에 섰고 그다음 단계가 피지컬 AI라고 말했다. 한 매체는 이를 알렉스넷에서 인식 AI, 생성 AI, 에이전틱 AI를 거쳐 피지컬 AI로 이어지는 경로로 요약했다(매체의 정리다). 그는 ‘월드 파운데이션 모델이 필요하다’며 물리 세계를 이해하도록 가르치는 코스모스(Cosmos)를 소개했고, 같은 보도에 따르면 코스모스는 2,000만 시간 분량의 영상으로 학습되었다. 그는 일반 로봇 분야의 ‘ChatGPT 순간’이 머지않았다고 전망했다.
시장 전망도 뒤따른다. 그런데 전망치는 기관마다 크게 다르다. MarketsandMarkets는 피지컬 AI 시장이 2025년 약 8.9억 달러에서 2032년 약 152.8억 달러로 커진다고 본다. 2026년 3월의 한 보도는 다른 시장조사를 인용해 2025년 약 50억 달러에서 2035년 약 828억 달러로 전망한다. 출발점인 2025년 규모부터 5배 넘게 차이 나는 것은 ‘피지컬 AI’를 어디까지 포함하느냐가 다르기 때문이다. MarketsandMarkets는 연산 칩과 센서, 액추에이터 같은 하드웨어와 소프트웨어, 서비스를 모두 넣는다. 이 시장을 가장 크게 말하는 쪽에 칩과 GPU를 파는 회사가 있다는 점도 함께 봐야 한다. 이 연재는 낙관도 비관도 전제하지 않고, 각 주장이 어떤 자료에 서 있는지를 따지는 쪽을 택한다.
비즈니스 눈으로 보면
사업개발의 시선에서 보면 소프트웨어 AI와 피지컬 AI의 가장 큰 차이는 한계비용이다. 챗봇은 사용자가 늘어도 서버 비용이 비례해 늘지만 같은 소프트웨어를 복제해 판다. 피지컬 AI는 한 대를 더 팔 때마다 모터, 감속기, 배터리, 조립, 설치, 유지보수가 따라온다. 가치가 소프트웨어에서 만들어지는지 하드웨어에서 만들어지는지, 그리고 누가 현장과의 접점을 쥐는지가 사업의 모양을 바꾼다. 이 질문은 9~10회에서 단가와 계약 방식, 곧 로봇을 파는가 노동을 파는가의 문제로 이어진다.
다음 회
2회는 로봇의 두뇌를 열어 본다. VLA 모델이 장면과 지시를 받아 행동을 내놓기까지의 구조, 이산 토큰과 연속 출력의 차이, 그리고 왜 같은 설계가 두 갈래로 나뉘는지를 다룬다.
- Hans Moravec, 모라벡의 역설 개념 정리. Envisioning, Moravec's Paradox
- Physical Intelligence, 로봇 올림픽 과제와 모라벡의 역설에 대한 설명. pi.website/blog/olympics
- Brohan 외, “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control”, 2023. arXiv:2307.15818
- Google DeepMind, RT-2 공개 설명(PaLI-X·PaLM-E 기반, 행동 토큰). deepmind.google/blog
- Black 외, “π0: A Vision-Language-Action Flow Model for General Robot Control”, 2024. arXiv:2410.24164
- NVIDIA, “GR00T N1: An Open Foundation Model for Generalist Humanoid Robots”, 2025. arXiv:2503.14734
- Figure AI, Helix 공개 페이지(System 1·2 구조와 제어 주기). figure.ai/news/helix
- 엔비디아 CES 2025 발표 보도. RCR Wireless, NVIDIA charts a course from agentic AI to physical AI
- MarketsandMarkets, 피지컬 AI 시장 전망. marketsandmarkets.com
- 피지컬 AI 시장 전망 보도(2026년 3월). Times Tech, Physical AI Market Size to Reach USD 82.79 Billion by 2035