AI의 진화와 분화 : LLM vs sLM → VLM → VLA

AI 모델 완전 정복: LLM, sLM, VLM, 그리고 VLA

AI의 진화와 분화

LLM vs sLM → VLM → VLA

거대해지기만 하던 AI가 이제는 작고 빨라지기도 하고, 눈과 몸을 얻기도 합니다.
AI 모델의 핵심 종류들을 완벽하게 정리해 드립니다.

🧠

LLM

Large Language Model

특징: 거대함, 고성능

실행: 대형 서버 (클라우드)

예시: ChatGPT, Gemini Ultra

“모든 것을 아는 거대한 뇌”

LLM은 인터넷상의 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 AI입니다.
문맥을 파악하고, 추론하며, 창의적인 글쓰기나 복잡한 코딩이 가능합니다.

한계점: 너무 커서 슈퍼컴퓨터급 서버가 필요합니다. 인터넷이 끊기면 사용할 수 없고, 비용이 비쌉니다. 또한 시각 정보가 없는 ‘텍스트 전용’입니다.

📱⚡

sLM

Small Language Model

특징: 경량화, 효율성

실행: 온디바이스 (폰/노트북)

예시: Gemini Nano, Phi-3, Llama 3 8B

“내 손안의 똑똑한 비서”

LLM의 덩치를 줄여 스마트폰이나 노트북에서 직접 돌아가도록 만든 모델입니다.
LLM만큼 방대한 지식은 없지만, 요약, 번역, 이메일 작성 등 특정 작업에서는 놀라운 성능을 보여줍니다.

장점: 인터넷 없이도 작동하며(온디바이스 AI), 데이터가 외부 서버로 나가지 않아 보안에 강력합니다. 반응 속도도 훨씬 빠릅니다.

👁️🧠

VLM

Vision-Language Model

입력: 텍스트 + 이미지/비디오

출력: 텍스트

예시: GPT-4o, Gemini 1.5 Pro

“눈을 뜬 AI”

LLM(혹은 sLM)에 ‘시각 정보 처리 능력’을 더한 모델입니다. 이제 AI는 사진 속 강아지를 보고 “귀여운 골든 리트리버가 공을 물고 있네요”라고 텍스트로 설명할 수 있습니다.
시각적 추론이 가능해져서, 냉장고 사진을 보고 요리 레시피를 추천해 줄 수도 있습니다.

한계점: 상황을 이해하고 설명할 수는 있지만,
직접 물리적인 행동을 취할 수는 없습니다.
“쓰레기가 떨어져 있네”라고 말할 수는 있지만, 주울 수는 없습니다.

🦾🤖

VLA

Vision-Language-Action

입력: 텍스트 + 이미지

출력: 로봇 제어 신호 (Action)

예시: Google RT-2

“몸을 움직이는 피지컬 AI”

피지컬 AI의 완성형입니다. VLM이 텍스트를 출력한다면, VLA는 ‘로봇 팔의 움직임(Action Token)‘을 출력합니다.

“목이 마르다”는 사람의 말을 들으면 → 시각 센서로 컵과 물병을 찾고 → 로봇 팔을 뻗어 물을 따르는 일련의 좌표 값과 모터 제어 신호를 스스로 생성합니다.
번역기가 영어 단어를 한국어로 바꾸듯, VLA는 ‘현실 세계의 상황’을 ‘로봇의 행동’으로 번역하는 모델입니다.

특징: 기존 로봇은 “A지점에서 B지점으로 이동”이라는 코드를 짜줘야 했지만, VLA는 학습된 인터넷 데이터를 바탕으로 “서랍을 열려면 손잡이를 잡고 당겨야 한다”는 상식을 이미 알고 행동합니다.

한눈에 비교하기

모델
입력 (Input)
출력 (Output)
핵심 비유

LLM
텍스트
텍스트
도서관의 박학다식한 교수님

sLM
텍스트
텍스트
빠릿빠릿한 개인 비서 (폰 탑재)

VLM
텍스트 + 이미지
텍스트
CCTV 상황실 관제 요원

VLA
텍스트 + 이미지
행동 (Action)
직접 뛰어다니는 현장 해결사