Elephant Index
목록으로
로보틱스와 AI6분

[몸을 얻은 AI] 03 : 로봇은 어떻게 배우는가

모방학습, 강화학습, 그리고 시뮬레이션에서 현실로 건너가는 다리

연재 「몸을 얻은 AI」 3번째 글

로봇은 한 가지 방법으로 배우지 않는다. 사람을 따라 하고, 시행착오를 겪고, 가짜 세계에서 먼저 연습한다.

2회에서 두뇌의 구조를 열어 보았다. 이번 회는 그 두뇌가 무엇으로 배우는지를 본다. 길은 크게 셋이다. 사람이 보여 준 동작을 흉내 내는 모방학습, 보상을 받으며 스스로 알아내는 강화학습, 그리고 가상 세계에서 배운 것을 현실로 옮기는 sim-to-real이다. 앞의 둘은 학습 방법이고, 마지막은 그 결과를 현실로 건너보내는 다리에 가깝다.

그림 1. 로봇이 배우는 세 가지 길: 재료와 강점, 약한 곳
① 모방학습배우는 재료사람의 시연잘하는 것적은 데이터로 시작약한 곳시연 밖에서 오차 누적② 강화학습배우는 재료시뮬레이션 속 시행착오잘하는 것보행 같은 동적 제어약한 곳보상 설계의 부담③ sim-to-real배우는 재료무작위로 바꾼 가상 환경잘하는 것가상 학습을 현실로 이식약한 곳현실을 못 담으면 실패

아래 논문들을 바탕으로 필자가 정리했다. 실제 시스템은 여러 방법을 섞어 쓰기도 한다.

첫째 길: 따라 하며 배운다

모방학습은 사람이 로봇을 직접 움직여 보여 주고, 모델이 같은 상황에서 같은 동작을 내놓도록 학습시키는 방법이다. Zhao 외가 공개한 ALOHA 시스템이 대표적인 예다. 사람이 리더 로봇 팔을 움직이면 팔로워 로봇 팔이 그대로 따라 움직이고, 이때의 영상과 관절 값이 곧 학습 데이터가 된다. 조작과 데이터 기록은 모두 초당 50번(50Hz) 이뤄진다. 논문은 이 시스템 전체가 기성 로봇과 3D 프린트 부품으로 2만 달러 미만이라고 적는다. 값비싼 전용 장비 없이도 좋은 시연 데이터를 모을 수 있다는 주장이다.

이 데이터로 학습한 ACT 모델의 성적은 과제마다 크게 갈린다. 논문에 따르면 과제당 시연 50회, 분량으로 10~20분 안팎을 모았고, 배터리 끼우기는 96%, 지퍼백 밀어 열기는 88%, 컵 뚜껑 열기는 84%의 성공률을 보였다. 반면 벨크로 끈을 꿰는 과제는 20%에 그쳤다. 모두 연구진이 자신들의 시스템에 대해 보고한 값이다. 적은 시연으로도 섬세한 작업이 가능하다는 것과, 어떤 작업은 여전히 어렵다는 것을 한 표에서 함께 보여 준다.

ACT가 쓴 장치는 2회에서 본 ‘청크’다. 한 스텝씩 내놓지 않고 앞으로의 100스텝을 한꺼번에 예측하게 하고(겹치는 예측은 시간 앙상블로 합쳐 동작을 매끄럽게 한다), 논문의 표현대로 과제의 유효 지평을 줄이고 오차 누적을 완화한다. 오차 누적은 모방학습의 고전적인 약점이다. Ross 외(2011)는 학습기의 행동이 다음 관측을 바꾸기 때문에 데이터가 서로 독립이라는 통상의 가정이 깨지고, 한 번 실수하면 전문가가 보여 준 적 없는 상태로 들어가 오차가 쌓인다고 설명했다. 이들이 제안한 DAgger는 학습된 정책을 직접 돌려 방문한 상태마다 전문가의 정답을 붙여 데이터를 늘려 가는 방식이다.

행동을 만드는 방식도 진화하고 있다. Chi 외의 Diffusion Policy는 행동을 확산 모델로 생성한다. 연구진은 4개 벤치마크의 12개 과제에서 기존 최고 수준의 방법들보다 평균 46.9% 개선되었다고 보고한다.

둘째 길: 부딪히며 배운다

강화학습은 정답 동작을 보여 주지 않는다. 로봇이 해 보고, 잘했는지 점수(보상)를 받고, 점수가 높아지는 방향으로 스스로 고친다. 현실에서 수없이 넘어지게 둘 수는 없으니 학습은 시뮬레이션에서 한다.

Rudin 외(2021)는 이 방식을 극단까지 밀어붙였다. GPU 한 장(논문 각주는 NVIDIA RTX A6000)에서 시뮬레이션과 학습을 함께 돌리고, 주 정책은 로봇 4,096대를 동시에 시뮬레이션해 PPO 알고리즘으로 학습했다. 논문 초록에 따르면 평지를 걷는 정책은 4분 미만, 울퉁불퉁한 지형은 약 20분 만에 학습된다. 이 정책은 4족 로봇 ANYmal C에 올려 계단을 오르내리게 했다. 논문은 동시에 돌리는 로봇이 2,048~4,096대일 때 속도와 성능의 균형이 가장 좋았다고 보고한다. 시행착오가 분 단위로 돌아가면, 보상을 고쳐서 다시 해 보는 일이 부담이 아니라 일상이 된다. 이 대목은 필자의 해석이다.

영상 1. ETH 취리히 로봇시스템연구실(RSL) 공식 채널: Learning to Walk in Minutes Using Massively Parallel Deep RL

논문 저자들이 공개한 공식 영상이다.

강화학습이 모든 곳에 통하지는 않는다. 무엇을 잘한 것으로 칠지 보상을 설계하는 일은 결국 사람의 몫이고, 세밀한 조작처럼 보상을 말로 풀기 어려운 과제에서는 부담이 커진다. 이 역시 일반적인 한계에 대한 필자의 설명이다.

셋째 길: 가짜 세계에서 현실로

문제는 시뮬레이션이 현실과 다르다는 점이다. 질감도, 조명도, 마찰도 다르다. 이 간극을 메우는 가장 단순한 발상이 도메인 무작위화다. Tobin 외(2017)는 시뮬레이터의 색과 질감을 마구 바꿔서, 모델이 보기에 현실이 ‘변형 중 하나’로 보이게 하자고 했다. 무작위화의 폭도 중요하다. 같은 논문의 비교 실험에서 질감 종류가 1,000개보다 적으면 성능이 크게 떨어졌다. 논문은 단색, 그라데이션, 체크무늬 같은 비현실적 질감으로 렌더링한 이미지만으로, 실제 이미지 없이 학습한 물체 탐지기가 실제 환경에서 위치를 1.5cm 이내로 맞혔다고 밝힌다.

이 발상이 가장 크게 시험된 사례가 OpenAI(2019)의 로봇 손이다. 연구진은 환경의 무작위 범위를 점점 넓히는 자동 도메인 무작위화(ADR)를 쓰고, 시뮬레이션에서만 학습한 정책으로 로봇 손이 루빅큐브를 맞추게 했다. 논문은 학습에 쓰인 누적 경험이 약 1만 3천 년 분량이라고 적는다. 성공률은 면을 15번 돌려야 하는 섞임에서 60%, 26번이 필요한 가장 어려운 섞임에서 20%다. OpenAI가 자체 시스템에 대해 낸 값이다. 가상 연습만으로 현실의 정교한 손동작이 가능하다는 증거이면서, 동시에 성공률이 여전히 낮다는 기록이기도 하다.

96%ACT의 배터리 끼우기 성공률. 과제당 시연 50회. 연구진 보고, ALOHA 논문
4,096대GPU 한 장에서 동시에 돌린 시뮬레이션 로봇 수. Rudin 외
약 1만 3천 년루빅큐브 정책 학습에 쓰인 누적 경험. OpenAI 논문

비즈니스 눈으로 보면

세 길은 돈이 들어가는 자리가 다르다. 모방학습은 사람의 시간이 들고, 강화학습은 컴퓨팅과 보상을 설계하는 엔지니어가 들고, sim-to-real은 시뮬레이터와 환경을 만드는 인력이 든다. 이 구분은 필자의 정리다.

논문으로 확인한 사실은 이렇다. ALOHA 논문에서 과제 하나를 배우는 데 필요한 시연은 50회, 10~20분 분량이었고 장비는 2만 달러 미만이었다. 그러나 이것은 연구실에서 정해진 과제를 반복한 값이다. 필자의 추정을 덧붙이면, 현장 작업을 시연으로 가르치는 방식에서는 그 작업을 가장 잘 아는 사람의 시간이 곧 데이터가 된다. 로봇 회사의 경쟁력이 알고리즘만큼이나 현장 경험을 데이터로 바꾸는 능력에서 나올 수 있다는 뜻이다. 이 해석은 다음 회에서 데이터 문제로 따로 검증한다.

더 살펴볼 자료

직접 만져 보고 싶다면 연구진이 공개한 자료가 있다. ALOHA 프로젝트 페이지(tonyzhaozh.github.io/aloha)에는 시연·롤아웃 영상과 하드웨어 제작 안내, 코드 저장소(ACT)가 모여 있다. Diffusion Policy 프로젝트 페이지(diffusion-policy.cs.columbia.edu)는 코드, 학습 데이터, 실험 기록, 실습용 노트북을 제공한다. 4족 보행 학습은 ETH의 legged_gym 페이지와 코드로 재현해 볼 수 있다. 도메인 무작위화는 저자들의 프로젝트 페이지에, OpenAI 루빅큐브 연구는 OpenAI의 연구 소개 글에 정리되어 있다.

다음 회

4회는 데이터가 병목이라는 이야기를 다룬다. 원격조종으로 모으는 데이터, 합성 데이터, 월드 모델, 그리고 데이터를 대량으로 만들어 내는 ‘데이터 팩토리’가 실제로 얼마나 규모를 키울 수 있는지 따져 본다.

  1. Zhao 외, “Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware”, 2023. arXiv:2304.13705
  2. Ross, Gordon, Bagnell, “A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning”, 2011. arXiv:1011.0686
  3. Chi 외, “Diffusion Policy: Visuomotor Policy Learning via Action Diffusion”, 2023. arXiv:2303.04137
  4. Rudin, Hoeller, Reist, Hutter, “Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning”, 2021. arXiv:2109.11978
  5. Tobin 외, “Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World”, 2017. arXiv:1703.06907
  6. OpenAI, Akkaya 외, “Solving Rubik’s Cube with a Robot Hand”, 2019. arXiv:1910.07113
  7. ETH Zürich Robotic Systems Lab, legged_gym 프로젝트 페이지와 영상. leggedrobotics.github.io/legged_gym
목록으로