Elephant Index
목록으로
로보틱스와 AI10분

NVIDIA Cosmos 리뷰: 로봇과 자율주행차에게 세상을 미리 보여 주는 월드 모델 플랫폼

보고, 생각하고, 다음 장면과 다음 행동을 만들어 내는 Cosmos 3와 그 주변 도구들

로봇에게 필요한 데이터는 인터넷에 없다. Cosmos는 그 데이터를 만들어 내는 쪽에 건다.

언어모델은 인터넷의 글로 배웠다. 로봇과 자율주행차는 그렇게 배울 수 없다. 비 오는 밤 교차로에 아이가 뛰어드는 장면, 창고 바닥에 기름이 쏟아진 장면처럼 정작 중요한 상황은 드물고, 일부러 찍기도 위험하다. NVIDIA Cosmos는 이 빈칸을 채우려는 플랫폼이다. 세상이 어떻게 움직이는지 배운 “월드 모델”로 영상을 이해하고, 앞으로 벌어질 장면을 만들어 내고, 그 위에서 로봇의 행동까지 학습시킨다. 이 글은 Cosmos 공식 페이지와 NVIDIA 발표 자료를 바탕으로, 2026년 11월 지금의 Cosmos를 살펴본다.

Cosmos가 걸어온 길

시기발표내용
2025년 1월CESCosmos 플랫폼 첫 공개. 월드 파운데이션 모델, 토크나이저, 안전장치, 영상 처리 파이프라인
2025년 3월GTCPredict(다음 장면 예측), Transfer(조건에 맞춘 영상 생성), Reason(추론 VLM)으로 정리
2026년 1월CESPredict 2.5, Transfer 2.5, Reason 2
2026년 5월 31일GTC TaipeiCosmos 3. 세 갈래를 하나의 모델로 합침
2026년 10월 21일GTC BerlinData Factory 청사진, 시뮬레이션용 Nano, Framework 확장

출처: NVIDIA 보도자료(2025년 1월, 2025년 3월, 2026년 1월, 2026년 5월), NVIDIA 블로그(2026년 10월)

처음 두 해 동안 Cosmos는 역할별로 모델이 나뉘어 있었다. 장면을 이해하는 Reason, 다음 장면을 그리는 Predict, 지도나 깊이 정보 같은 조건을 받아 실사 영상을 만드는 Transfer를 따로 받아 따로 돌려야 했다. 공식 페이지의 설명대로 Cosmos 2와 2.5는 인식과 생성을 다른 모델로 두었고, 다룰 수 있는 형태도 텍스트, 이미지, 영상에 머물렀다.

Cosmos 3: 하나로 합친 모델

Cosmos 3는 이 갈래들을 한 모델에 담았다. NVIDIA는 이를 추론, 세계 시뮬레이션, 행동 생성을 함께 하는 “옴니 모델”이라고 부른다. 텍스트, 이미지, 영상, 주변 소리, 행동을 입력으로 받고, 같은 형태로 출력도 낸다.

그림 1. Cosmos 3의 두 탑 구조
입력텍스트이미지영상소리행동Cosmos 3 · Mixture-of-Transformers추론 트랜스포머물체·움직임·공간 관계 파악지시 전달생성 트랜스포머영상·행동 궤적 생성출력설명·답(VLM)미래 영상(시뮬레이션)행동 궤적(정책)합성 데이터

NVIDIA의 Cosmos 3 발표 자료를 바탕으로 필자가 단순화해 그렸다.

구조의 핵심은 두 개의 트랜스포머를 짝지은 Mixture-of-Transformers다. 발표 자료에 따르면 추론 트랜스포머가 물체 사이의 상호작용, 움직임, 시공간 관계를 먼저 파악하고, 생성 트랜스포머가 그 지시를 받아 영상과 행동 궤적을 만든다. 영상을 보고 “지금 무슨 일이 일어나는가”를 답하는 일과 “다음에 무슨 일이 일어날까”를 그리는 일이 한 모델 안에서 이어지는 셈이다.

크기는 세 가지다.

모델크기쓰임
Cosmos 3 Super640억 파라미터물리 정확도와 생성 품질이 가장 중요한 로봇·자율주행 모델의 사후 학습
Cosmos 3 Nano160억 파라미터빠른 사후 학습과 특화. DGX Station에서도 가능
Cosmos 3 Edge40억 파라미터Nemotron 기반 추론기를 단, 엣지 기기용 실시간 모델

크기는 공식 페이지 기준이다. 5월 발표 때 Edge는 “곧 출시”였다.

쓰임새: 네 가지 일

공식 페이지는 Cosmos 3가 하는 일을 네 가지로 나눈다.

보고 판단한다. 영상 속 물체와 상호작용, 의도를 이해하는 시각-언어 모델로 쓴다. 영상에 촘촘한 설명을 달거나, 위험 상황을 실시간으로 알리는 영상 분석 에이전트가 여기에 해당한다. NVIDIA의 Metropolis VSS 청사진이 이 기능을 쓴다.

세계를 시뮬레이션한다. 물리 법칙에 맞게 다음 장면을 그려, 여러 카메라 시점의 미래 영상을 만든다. 로봇이나 자율주행 정책을 실제 도로나 공장에 내보내기 전에, 이 가상 세계 안에서 닫힌 고리로 시험해 볼 수 있다.

데이터를 만든다. 텍스트, 이미지, 영상, 소리, 행동을 조건으로 합성 데이터를 만든다. 같은 주행 영상의 날씨와 조명을 바꾸거나, 정지 사진을 사고 장면 영상으로 바꾸는 식이다.

특화 모델의 뼈대가 된다. 로봇 정책 학습과 “월드 액션 모델”의 바탕 모델로 쓴다. 기업이 자기 로봇의 데이터로 사후 학습해 자기 몸에 맞는 모델을 만드는 출발점이다.

모델 바깥의 도구들

Cosmos는 모델 하나가 아니라 플랫폼이다. 10월 GTC Berlin에서 NVIDIA는 모델 주변 도구를 크게 늘렸다.

  • Cosmos Curator와 Data Factory: 학습용 영상을 GPU로 걸러내고 정리하는 도구에, 자율주행 데이터 생성, 이미지 속성 변형, 사건 영상 생성, 결함 이미지 생성, 영상 증강의 다섯 가지 클라우드 청사진을 더했다.
  • Cosmos Framework: 학습, 최적화, 배포 도구를 에이전트 스킬 형태로 제공한다. Cosmos 3뿐 아니라 GR00T, Alpamayo, Qwen, Pi0.5 같은 다른 공개 모델도 미세조정, 강화학습, 증류, 양자화할 수 있게 넓혔다.
  • Cosmos 3 Nano 시뮬레이션 변형: 여러 시점, 여러 센서 조건에서 자율 정책을 반복 시험할 수 있는 버전이다. 자율주행차와 양팔 로봇용 코드가 함께 나왔다.
  • NIM 마이크로서비스: 검증된 구성에서 품질 손실 없이 추론이 최대 2배 빨라졌다고 NVIDIA는 밝혔다.

모델은 Hugging Face에서 받을 수 있고, build.nvidia.com에서 Nano를 바로 써 볼 수 있다. 라이선스는 리눅스 재단의 OpenMDW 1.1이다.

640억가장 큰 Cosmos 3 Super의 파라미터 수. 공식 페이지
5가지입력과 출력으로 다루는 형태. 텍스트, 이미지, 영상, 소리, 행동
8개공개 모델 중 1위라고 NVIDIA가 밝힌 리더보드 수. 점수는 발표하지 않았다

누가 쓰고 있나

공식 페이지에 이름을 올린 기업은 40곳에 가깝다. 휴머노이드 쪽으로는 1X, Agility Robotics, Figure AI, Neura Robotics, Galbot이, 로봇 두뇌 쪽으로는 Skild AI, Field AI가, 자율주행 쪽으로는 General Motors, Uber, Li Auto, Gatik이 보인다. 한국 기업도 있다. Cosmos 3 발표 자료는 두산로보틱스, LG전자, 삼성전자를 Cosmos 3를 로봇에 쓰는 기업으로 꼽았다.

10월 발표에는 구체적인 사례가 몇 가지 나왔다. 산업 점검 로봇을 만드는 ANYbotics는 Data Factory 청사진으로 합성 영상 1,500개 이상을 만들어, 로봇이 액체 누출 같은 변화를 알아보도록 학습시켰다. Ultralytics는 실제 이미지에 합성 결함 이미지를 더해 YOLO 모델을 다시 학습시켜 결함 위치 찾기와 재현율을 높였다고 한다. Fogsphere는 Cosmos와 Metropolis VSS로 만든 플랫폼으로 ADNOC의 65개 현장에서 안전 위험을 실시간으로 잡아낸다.

좋은 점

모델이 하나로 합쳐졌다. 이전에는 이해, 예측, 생성을 위해 모델 여러 개와 추론 파이프라인 여러 개를 관리해야 했다. Cosmos 3에서는 같은 모델이 장면을 해석하고 그 해석을 바탕으로 다음 장면과 행동을 만든다. 운영이 단순해지고, 이해와 생성이 같은 내부 표현을 공유한다.

크기를 고를 수 있다. 데이터센터용 640억짜리부터 엣지 기기용 40억짜리까지 있어, 합성 데이터를 대량으로 만드는 일과 현장 장비에서 실시간으로 판단하는 일에 각각 맞는 모델을 고를 수 있다.

모델만 주지 않는다. 데이터 정리, 합성, 학습, 증류, 배포까지 이어지는 도구가 함께 공개되어 있다. 로봇 회사가 가장 오래 걸리는 데이터 준비 과정을 줄이는 데 실제로 쓰인 사례도 나오고 있다.

공개 모델이다. 가중치와 학습 스크립트, 데이터셋이 공개되어 있어 자기 데이터로 사후 학습할 수 있다. 로봇마다 몸과 센서가 다르다는 점을 생각하면 이 부분이 중요하다.

조심할 점

성능 주장의 근거를 직접 확인해야 한다. NVIDIA는 Cosmos 3가 Physics-IQ, PAI-Bench, RoboArena 등 8개 리더보드에서 공개 모델 중 1위라고 밝혔지만, 보도자료에는 점수가 없다. 10월 블로그의 “6개 리더보드에서 5위 안”이라는 말도 어떤 리더보드인지 밝히지 않았다. Porsche의 “실제 주행 시험 최대 90% 감소” 같은 수치도 실측이 아니라 기대 효과로 적혀 있다.

합성 데이터는 현실의 대체물이 아니다. 생성한 영상이 아무리 그럴듯해도, 그 안의 물리가 현실과 어긋나면 그 데이터로 배운 로봇도 같은 곳에서 틀린다. Cosmos가 평가 도구와 사람의 검증을 함께 강조하는 이유다. ANYbotics도 합성 영상을 별도 도구로 검증했다고 밝혔다.

연산 자원이 많이 든다. 공식 페이지는 RTX PRO 6000 Blackwell 서버와 GB200에 최적화되어 있다고 적는다. 640억 모델로 대량의 영상을 만드는 일은 개인이나 작은 팀이 가볍게 할 수 있는 규모가 아니다. 다만 Nano와 Edge, 호스팅 서비스가 있어 진입 문턱은 조금씩 낮아지고 있다.

변화가 빠르다. 2년이 안 되는 사이에 모델 이름과 구조가 두 번 크게 바뀌었다. Predict, Transfer, Reason을 기준으로 만든 파이프라인은 Cosmos 3에 맞춰 다시 손봐야 할 수 있다.

누구에게 맞나

로봇, 자율주행, 영상 분석 제품을 만드는 회사에 맞는다. 특히 드물고 위험한 상황의 데이터가 부족한 팀, 실제 시험 비용이 큰 팀이라면 합성 데이터와 가상 시험만으로도 시도해 볼 가치가 있다. 공장 CCTV로 안전 사고를 잡으려는 제조 현장이라면, Cosmos를 직접 다루기보다 그 위에 만든 Metropolis VSS 같은 청사진부터 보는 편이 빠르다.

로봇을 직접 만들지 않는 사람에게는 쓸 일이 거의 없다. 다만 피지컬 AI의 흐름을 이해하고 싶다면 Cosmos의 변화를 지켜볼 만하다. 언어모델이 그랬듯, 로봇도 바탕 모델 위에 자기 데이터로 특화하는 방식으로 옮겨 가고 있다는 것을 가장 잘 보여 주는 사례이기 때문이다.

총평

Cosmos는 로봇 업계의 가장 큰 병목인 데이터를 연산으로 메우려는 NVIDIA의 답이다. Cosmos 3에서 이해, 시뮬레이션, 행동 생성을 한 모델로 합치면서 그 답이 한층 단단해졌고, 데이터 정리부터 배포까지 이어지는 도구도 갖췄다. 한국의 두산로보틱스, LG전자, 삼성전자를 포함해 실제로 쓰는 기업도 늘고 있다. 남은 과제는 성능 주장을 숫자로 보여 주는 일과, 합성 데이터로 배운 로봇이 현실에서도 같은 성능을 내는지 증명하는 일이다. 이 두 가지가 채워질 때 Cosmos는 “그럴듯한 플랫폼”에서 “피지컬 AI의 기본 도구”가 된다.

  1. NVIDIA, Cosmos 공식 페이지. nvidia.com/en-us/ai/cosmos (2026년 11월 16일 확인)
  2. NVIDIA, “NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI”, 2026년 5월 31일. nvidianews.nvidia.com
  3. NVIDIA Blog, “NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models”, 2026년 10월 21일. blogs.nvidia.com
  4. NVIDIA, “NVIDIA Releases New Physical AI Models as Global Partners Unveil Next-Generation Robots”, CES 2026. nvidianews.nvidia.com
  5. NVIDIA, “NVIDIA Announces Major Release of Cosmos World Foundation Models and Physical AI Data Tools”, 2025년 3월 18일. nvidianews.nvidia.com
  6. NVIDIA, “NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development”, 2025년 1월 6일. investor.nvidia.com
목록으로