AI의 진화 단계: LLM → VLM → VLA

AI 모델 완전 정복: LLM, VLM, 그리고 VLA

AI의 진화 단계

LLM → VLM → VLA

글만 쓰던 AI가 어떻게 눈을 뜨고, 마침내 로봇의 몸을 움직이게 되었을까요?
피지컬 AI의 핵심 두뇌들을 해부합니다.

🧠

LLM

Large Language Model

입력: 텍스트

출력: 텍스트

예시: ChatGPT, Claude, Gemini

“언어로 생각하는 뇌”

LLM은 인터넷상의 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI입니다.
문맥을 파악하고, 추론하며, 창의적인 글쓰기나 코딩이 가능합니다.

한계점: 세상을 ‘글자’로만 배웠습니다.
“사과가 빨갛다”는 문장은 알지만, 실제 빨간 사과 이미지를 보여주면 그게 무엇인지 인식하지 못합니다.
시각 정보가 없는 ‘장님’과 같습니다.

👁️🧠

VLM

Vision-Language Model

입력: 텍스트 + 이미지/비디오

출력: 텍스트

예시: GPT-4o, Gemini 1.5 Pro

“눈을 뜬 AI”

LLM에 ‘시각 정보 처리 능력’을 더한 모델입니다. 이제 AI는 사진 속 강아지를 보고 “귀여운 골든 리트리버가 공을 물고 있네요”라고 텍스트로 설명할 수 있습니다.
시각적 추론이 가능해져서, 냉장고 사진을 보고 요리 레시피를 추천해 줄 수도 있습니다.

한계점: 상황을 이해하고 설명할 수는 있지만,
직접 물리적인 행동을 취할 수는 없습니다.
“쓰레기가 떨어져 있네”라고 말할 수는 있지만,
“주워서 쓰레기통에 넣어”라는 구체적인 로봇 제어 명령(좌표값, 모터 토크 등)을 내리지는 못합니다.

🦾🤖

VLA

Vision-Language-Action

입력: 텍스트 + 이미지

출력: 로봇 제어 신호 (Action)

예시: Google RT-2

“몸을 움직이는 피지컬 AI”

피지컬 AI의 완성형입니다. VLM이 텍스트를 출력한다면, VLA는 ‘로봇 팔의 움직임(Action Token)‘을 출력합니다.

“목이 마르다”는 사람의 말을 들으면 → 시각 센서로 컵과 물병을 찾고 → 로봇 팔을 뻗어 물을 따르는 일련의 좌표 값과 모터 제어 신호를 스스로 생성합니다.
번역기가 영어 단어를 한국어로 바꾸듯, VLA는 ‘현실 세계의 상황’을 ‘로봇의 행동’으로 번역하는 모델입니다.

특징: 기존 로봇은 “A지점에서 B지점으로 이동”이라는 코드를 짜줘야 했지만, VLA는 학습된 인터넷 데이터를 바탕으로 “서랍을 열려면 손잡이를 잡고 당겨야 한다”는 상식을 이미 알고 행동합니다.

한눈에 비교하기

모델
입력 (Input)
출력 (Output)
비유

LLM
텍스트
텍스트
책상에 앉아있는 천재 작가 (눈 가림)

VLM
텍스트 + 이미지
텍스트
CCTV를 보고 상황을 설명하는 관제 요원

VLA
텍스트 + 이미지
로봇 행동 (Action)
지시를 듣고 직접 심부름을 하는 현장 요원