보도자료

센스타임, GPT-6-Astra 실측 및 SenseNova-RoboRSI 오픈소스 공개: 피지컬 AI의 다음 행보는?

2026-10-19

로봇이 5회 연속으로 과제를 완수하지 못했다면, '할 줄 모른다'고 판단할 것인가?


센스타임이 GPT-6-Astra를 테스트하던 중 뜻밖의 결과를 얻었다. RoboDojo 시뮬레이션 평가의 9개 과제는 원래 5회 모두 실패했던 과제들이었다. 그런데 모델을 다시 학습시키지 않고 상호작용을 이어가도록 허용해 스텝 상한만 10배로 늘리자 결과는 5번 모두 성공으로 바뀌었다.


'할 줄 모른다'고 여겼던 일 가운데 일부는 사실 우리가 너무 일찍 중단 버튼을 누른 결과였던 셈이다.


하지만 계속 기다리기만 한다면 그 대가는 얼마나 클까? 예산을 확장한 테스트에서 그릇 겹치기 과제의 평균 테스트 소요 시간은 약 131분, 추론 비용은 약 19달러로 추산되었다. 연필을 연필꽂이에 넣는 과제는 평균 263분이 걸렸고, 추론 비용은 약 55달러로 추산되었다. 과제는 마침내 완수되었지만 이러한 로봇이 일상적인 사용에 도달하기까지는 아직 갈 길이 멀다.


더 흥미로운 점은 문제를 풀기 위해 꼭 재시도만 반복할 필요는 없다는 것이다. 실제 로봇으로 진행한 꽃꽂이 실험에서 GPT-6-Astra는 병 입구가 잘 보이지 않자 쉬고 있던 로봇 팔을 움직여 그 팔에 달린 카메라로 시야를 확보한 뒤 꽃을 꽂았다. 다른 쪽 손을 작업을 돕는 '눈'으로 활용한 것이다.


어떤 실패에 한 번 더 기회를 줘야 할까? 어떤 어려움에는 다른 방법이 필요할까? 또 모델이 아무리 똑똑해도 반복 시도만으로는 풀기 어려운 문제는 무엇일까?


센스타임은 12종의 시뮬레이션 평가와 8종의 로봇을 대상으로 한 체계적인 연구를 통해 이 질문들의 답을 찾고자 했다. 아울러 SenseNova-RoboRSI 프레임워크와 27B 규모의 피지컬 AI 모델을 오픈소스로 공개했다. 작업 완수 비용을 GPT-6-Astra의 50분의 1로 낮췄으며, 커뮤니티가 이번 연구 결과를 직접 재현하고 더 효율적인 해법을 계속 탐색할 수 있도록 했다.


기술 보고서 홈페이지:


[https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence]


기술 보고서:


[https://www.sensenova.ai/gpt-6/assets/docs/has_gpt-6_achieved_embodied_intelligence.pdf]


SenseNova-RoboRSI 코드 저장소:


[https://github.com/OpenSenseNova/SenseNova-RoboRSI]



한계 테스트: 실패의 원인은 '이른 중단'이었다


연구진은 탁상형 로봇 팔, 휴머노이드, 바퀴형 로봇 팔, 다관절 로봇 손 등 다양한 형태의 작업을 포함한 12종의 시뮬레이터 벤치마크를 분석했다. 그 결과 두 가지 제한만 풀어도 GPT-6-Astra의 성능 한계를 더 깊이 탐색할 수 있다는 사실을 확인했다.


- 학습 데이터 접근 허용: GPT-6-Astra가 먼저 학습한 뒤 실행할 수 있도록 했다. 업계에서는 이를 컨텍스트 내 학습(In-context Learning, ICL)이라고 부른다.


- 스텝 제한 해제: 사용 가능한 스텝 수를 각 벤치마크 공식 설정의 최대 10배까지 늘렸다.



gpt1.jpg


그림 1: 단 두 가지 제한을 해제하는 것만으로 GPT-6-Astra의 피지컬 AI 역량 한계 대폭 상승



두 가지 제한을 풀자 GPT-6-Astra는 여러 평가에서 현재의 성능 한계에 한층 가까워졌다. 비교적 단순한 탁상형 로봇 팔 조작을 평가하는 LIBERO 시리즈와 휴머노이드의 이동·조작 작업을 평가하는 SIMPLE에서는 성능이 이미 포화 상태에 도달했다. 최근 주목받는 RoboDojo에서도 작업 성공률 81.9%를 기록했다.



gpt2.png


그림 2: 인콘텍스트 러닝에서 GPT-6-Astra는 스스로 어떤 '컨닝페이퍼'를 준비했을까?



ICL 과정에서는 모델이 피지컬 AI 문제를 어떻게 사고하는지도 드러났다. GPT-6-Astra는 작업을 실행하기 전에 학습용 시연의 이미지, 로봇 상태, 동작 궤적을 분석하고, 유용한 정보를 작업 노트, 참조 동작, 코드 도구로 정리한다. 테스트 단계에서는 현장 관찰 결과를 반영해 이 자료를 불러와 조정한다. 작업마다 보통 한 번만 준비하면 해당 작업의 여러 테스트에 그대로 활용할 수 있다. 그림 2는 ICL 과정에서 형성된 6가지 역량을 정리한 것이다.




gpt3.jpg


그림 3: 벤치마크별 스텝 수 증가에 따른 성능 향상과 무제한 스텝 시의 성능 상한 추정치



그림 3은 스텝 수를 늘렸을 때 벤치마크별 성능 변화와 스텝이 무제한일 때의 성능 상한 추정치를 보여준다. 스텝 수가 무한대에 가까워진다고 가정하면, GPT-6-Astra는 다수의 벤치마크에서 이미 성능 포화 상태에 도달했거나 근접한 것으로 나타났다. 이는 현재 커뮤니티 벤치마크가 GPT-6-Astra로 인해 어느 정도 한계에 다다랐다는 뜻이다. 이제 연구의 초점도 벤치마크 점수 경쟁을 넘어, 역량을 다른 환경으로 옮길 수 있는지, 비용을 낮출 수 있는지, 실제 환경에서 작업을 안정적으로 완수할 수 있는지로 옮겨 가야 한다.



상용화의 걸림돌: 성공을 넘어 '비용'이 관건


GPT-6-Astra가 보여준 역량은 놀랍다. 하지만 벤치마크 점수가 한계에 근접했다고 해서 피지컬 AI의 상용화 문제가 해결된 것은 아니다. 연구진은 실험 결과를 토대로 적어도 세 가지 걸림돌을 넘어야 한다고 분석했다.



gpt4.jpg



그림 4: 벤치마크별 GPT-6-Astra의 작업당 평균 토큰 비용(단순 환산 시 100만 토큰 = 1달러) 및 소요 시간



- 과제 간 경험 전이 능력이 여전히 제한적이다. GPT-6-Astra가 ICL을 통해 얻은 성능 향상은 여전히 로봇 본체의 시연 데이터에 크게 의존하며, 단일 과제에서 형성된 ICL 스킬 팩은 과제 간 전이 측면에서 아직 충분히 강하지 않다.


- 수행 비용이 상업적 타당성을 갖추기까지 여전히 수 자릿수의 격차가 존재한다. 그림 4는 각 벤치마크의 단일 과제 평균 토큰 비용과 시간 소모를 보여준다. 예를 들어 사람에게는 극히 간단한 '연필꽂이에 펜 넣기' 과제를 완수하는 데 263분과 55달러가 소요된다.



gpt5.png



- 장기 시퀀스 과제는 여전히 명확한 약점이다. GPT-6-Astra는 넓은 공간에서 바퀴형 로봇 팔로 작업하는 BEHAVIOR와 주변을 탐색해야 하는 장거리 시각 내비게이션 LHPR-VLN에서 가장 낮은 성능을 보였다.


- 과제 수행의 안정성과 강인성을 더욱 향상시켜야 한다. 연구진은 과제 수행 과정에서 구체적인 문제도 확인했다. 모델이 과제 완료 여부를 판단하지 못하거나(영상 1a), 물리적 상태 변화에 제대로 대처하지 못하거나(영상 1b), 여러 하위 과제를 동시에 챙기지 못하는 경우(영상 1c)가 있었다. 피지컬 AI 시스템은 올바른 동작을 수행하는 데 그치지 않고, 실행 결과를 계속 검증하며 환경 변화에 맞춰 후속 전략을 조정해야 한다는 뜻이다.





영상 1a, 1b, 1c: GPT-6-Astra에 여전히 존재하는 한계점




빠름과 느림의 협업, 핵심은 폐루프 제어에 있다


따라서 핵심 질문은 Harness 시스템을 통해 System 2 느린 사고 모델(GPT-6-Astra)과 System 1 빠른 사고 모델

이 협업하도록 하여 비용을 제어하면서도 성능을 가능한 한 유지할 수 있는가이다.



gpt6.png



GPT-6-Astra를 기준으로 삼아, 협업 방식별 위치를 '성능-비용' 4분면에 나타냈다. 실험 결과, 모델 간 역할을 어떻게 나누는지와 실행 결과를 점검하는지 여부가 시스템 성능에 큰 영향을 미치는 것으로 나타났다.



gpt7.png


그림 5: RoboDojo에서 GPT-6-Astra의 서로 다른 System 1&2 협업 방식 및 동작 인터페이스에 따른 

토큰 소모량과 평균 점수 비교


- 직접 위임(Open-loop): 시스템 2가 시스템 1에 곧바로 지시하되 실행 결과는 점검하지 않는다. 비용은 줄일 수 있지만 성능이 크게 떨어진다.


- 동작 검증 후 수행(Close-loop): 시스템 2가 시스템 1에 지시하고, 결과를 점검한 뒤에야 다음 실행을 허용한다. 성능은 다소 높아지지만 비용 면의 이점은 없다.



gpt8.png



- '스위트 스폿' 조합: 현재로서는 GPT-6-Astra + ICL + π0.5(폐루프) 조합이 가장 유망하다. RoboDojo의 42개 과제에서 성공률 54%를 기록했다. 다만 비용 문제는 여전히 남아 있다.


전반적으로 볼 때, 제2사분면이 나타내는 '저비용·고성능' 영역에 진입할 수 있는 방법은 여전히 드물다. 따라서 지출을 제어하면서도 고성능을 유지할 수 있는 하네스(Harness)를 어떻게 설계할 것인지가 다음 단계의 중요한 연구 방향이 된다.


시뮬레이터에서 실제 로봇 실험으로



영상 2: GPT-6-Astra는 다양한 실제 로봇에서 직접 작동할 수 있다


시뮬레이터 벤치마크의 우수한 성적이 곧바로 실제 로봇의 역량으로 이어지는 것은 아니다. 연구진은 이 격차를 살펴보기 위해 탁상형 단일 팔, 양팔, 바퀴형 로봇 팔, 휴머노이드, 그리퍼, 다관절 로봇 손 등 다양한 조합의 로봇 8종을 테스트했다(영상 2 참조).


- GPT-6-Astra는 테스트한 실제 로봇을 모두 직접 조작할 수 있었고 탁상 위 물체 집기에도 능숙했다. 하지만 더 복잡한 과제에서는 성능 격차가 뚜렷했다. 옷 개기 같은 유연한 소재 조작, 플러그 꽂기 같은 정밀 제어, 장거리 내비게이션과 현장 적용 과제 등이 대표적이다.



pt9.png



- 능동 시각: GPT-6-Astra는 뛰어난 공간 지능을 보여줬다. 관찰 시점을 스스로 조정해 과제를 완수할 수 있었다(영상 3 참조).


- System 2과 System 0의 협업: GPT-6-Astra는 고주파 '시스템 0' 모델인 Sonic과 협업해 휴머노이드 로봇 한 대를 구동할 수도 있다.



영상 3: GPT-6-Astra가 보여준 능동 비전 능력


실제 로봇 실험을 통해 현실의 로봇이 마주하는 어려움을 시뮬레이터 벤치마크만으로는 모두 담아낼 수 없다는 점도 드러났다.


- 물리적·시간적 제약: 현실의 로봇은 충돌이나 모터 과열로 멈출 수 있다. 또한 시간에 민감한 과제가 많아, 시뮬레이터 실험처럼 스텝 수를 늘려 가며 시도를 거듭하기 어렵다.


- 시연 데이터 부족: 실제 사용 환경에는 시연 데이터가 없는 경우가 많으며, 이 역시 과제 성공률을 크게 떨어뜨린다.


따라서 GPT-6-Astra가 시뮬레이터 벤치마크에서 강력한 성능을 보이더라도, 실제 로봇에 안정적이고 신뢰성 있게 적용되기까지는 아직 상당한 거리가 있다. 평가 방식 역시 실제 수요에 더 가까워져야 하며, 환경 변화와 시간 비용, 실행 결과의 영향까지 함께 고려해야 한다.


미래를 위한 피지컬 AI 평가 기준


이상의 실험은 기존 모델의 역량을 보여주는 동시에 현재의 평가 방식과 실제 활용 사이의 격차도 드러냈다. 피지컬 AI를 실제로 상용화하려면 평가도 동작의 성공 여부만 따져서는 안 된다. 로봇이 사람의 실제 요구를 이해하는지, 상호작용으로 경험을 쌓는지, 끊임없이 변하는 환경에서 과제를 제때 완수하는지도 함께 살펴야 한다. 연구진은 미래의 피지컬 AI 벤치마크가 적어도 다음 세 가지 원칙을 따라야 한다고 제시했다.


- 사람의 실제 요구에서 출발하는 과제: 평가는 사람이 로봇에게 실제로 맡기려는 일을 중심으로 설계해야 한다. 조작으로 생길 수 있는 부작용과 명시되지 않은 책임까지 고려해야 한다.


- 자율적 상호작용으로 얻는 경험: 특정 과제와 환경에 맞는 시연 데이터가 없을 때, 로봇은 스스로 환경을 탐색하고 조작법을 익히며 피드백에 따라 전략을 조정할 수 있어야 한다.


- 모델이 생각하는 동안에도 멈추지 않는 세계: 모델이 사고하는 동안에도 환경은 계속 변한다. 따라서 평가는 사고와 행동에 걸리는 시간을 모두 실제 시간으로 계산하고, 과제 완수 여부와 적시성, 실행 과정에서 생긴 결과까지 살펴야 한다.



영상 4: 미래 임바디드 벤치마크에 대한 구상


연구진은 이 원칙을 바탕으로 물리적 상호작용을 지원하는 '모델하우스'를 구축했다(영상 4). 로봇은 이곳에서 가구, 물건, 가전제품을 조작할 수 있으며, 모델이 사고하는 중에도 물이 흐르거나 가열되는 등의 과정은 계속 진행된다.



영상 5: 복잡한 시나리오에서 발생한 GPT-6-Astra의 문제점


이 시연 공간에서 GPT-6-Astra는 몇 가지 대표적인 문제점을 드러냈다(영상 5 참조).


- 눈앞의 조작에 집중하느라 주변 환경과 암묵적 책임을 놓친다. 책상을 정리할 때 손에 든 책을 옮기다 다른 물건을 떨어뜨리고 모니터를 밀어 비뚤어지게 했다. 식품을 정리할 때는 과일을 옮기러 가면서 냉장고 문을 몇 분 동안 열어 두었다.


- 낯선 조작에서 물체와 자기 몸의 관계를 충분히 파악하지 못한다. 냉장고 문을 여는 데는 성공했지만, 이후 물건을 꺼내기 좋은 위치를 잡지 못해 문이 로봇 팔을 가로막았다.


- 판단의 근거가 된 관찰이 실제 실행 시점에는 이미 낡은 정보일 수 있다. 달걀이 다 익은 것을 보고 불을 끄기로 판단했지만, 이어서 사고하고 조작하는 동안에도 가열은 계속됐다. 실제로 불을 껐을 때는 달걀이 이미 타 버린 뒤였다.



gpt10.png



이 사례들은 피지컬 AI의 과제가 '환경을 이해하고 동작을 생성하는 것'에 그치지 않음을 보여준다. 주변 환경과 암묵적 책임을 함께 살피고, 물체와 자기 몸의 공간 관계를 이해하며, 변화하는 세계에 맞춰 판단을 제때 수정하는 능력까지 필요하다. 연구진은 앞으로의 평가가 이러한 역량을 더 온전히 반영해, 모델이 벤치마크 성적을 넘어 실제 과제 수행으로 나아가도록 이끌기를 기대한다고 밝혔다.


오픈소스 실천: 센스타임 SenseNova-RoboRSI, 클릭 한 번으로 결과 재현


이러한 연구를 바탕으로 센스타임은 SenseNova-RoboRSI 하네스를 오픈소스로 공개하고, 오픈소스 피지컬 AI 두뇌 모델인 SenseNova-RoboRSI-27B-Preview를 선보였다. 하네스는 연구자가 평가를 재현하고 시스템 설계를 비교하며 2차 개발을 할 수 있도록 돕는다. 27B-Preview는 검증된 피지컬 AI 경험을 모델에 축적해 추론 비용을 낮추면서 과제 수행 효율을 높이는 데 초점을 맞췄다. 피지컬 AI 과제를 완수하는 비용은 GPT-6-Astra의 50분의 1에 불과하다.


SenseNova-RoboRSI는 각종 벤치마크와 실행에 필요한 구성 요소를 독립된 Docker 이미지로 패키징하고, 통합 HTTP API로 환경 상호작용과 벤치마크 자체 채점 서비스를 제공한다. 이를 통해 평가 환경을 에이전트 모델 및 정책과 분리했다. 연구자는 복잡한 시뮬레이션 환경을 직접 구축할 필요 없이 해당 설정 파일만 준비하면 클릭 한 번으로 엔드투엔드 평가와 결과 재현을 마칠 수 있다. 실험 재현의 문턱을 낮출 뿐 아니라, 커뮤니티가 통일된 환경에서 결과를 검증하고 다양한 모델과 하네스 설계를 비교하기도 쉬워진다.



gpt11.png



연구진은 평가 프레임워크에 그치지 않고, 실험에서 검증된 경험을 모델 자체에 축적하는 시도도 했다. SenseNova-RoboRSI-27B-Preview는 멀티모달 지도 학습을 반복해 목표 이해, 동작 결정, 피드백 기반 오류 수정 능력을 모델 파라미터에 내재화했다. 여러 벤치마크에서 거둔 결과는 다음과 같다.


- RoboDojo: 26.13점, 과제 성공률 20.83%를 기록해 복잡한 피지컬 AI 과제를 해결할 수 있는 역량을 보여줬다.


- LIBERO-Pro: 빠른 사고와 느린 사고의 협업(시스템 2 + 시스템 1) 방식과 시스템 2의 직접 제어 방식 모두에서 90점을 넘겼다. GPT-6-Astra에 이은 성적으로, 시스템 구조가 달라도 고르게 성능을 내는 일반화 능력을 입증했다.


- RoboCasa365: 성공률이 26.0%에서 46.5%로 높아졌고, 과제 토큰 비용은 73% 줄었다. 효과적인 경험을 자체 역량으로 내재화해 성공률을 높이는 동시에 과제 수행 비용까지 낮춘 것이다.



gpt12.png


그림 6: 다양한 임바디드 벤치마크에서 SenseNova-RoboRSI-27B-Preview의 성능


모델은 벤치마크 수치뿐 아니라 구체적인 조작에서도 그에 걸맞은 역량을 보여줬다. 세부 사항을 능동적으로 관찰하고 공간 관계를 추론하며, 실행 피드백에 따라 전략을 조정할 수 있었다. 다음 세 가지 사례는 모델이 관찰과 추론, 행동을 결합해 실제 조작의 난제를 어떻게 해결하는지 보여준다.



gpt14.png


그림 7: SenseNova-RoboRSI-27B-Preview 임바디드 능력 시연: 능동적 인지, 자율적 계획 및 공간 추론



SenseNova-RoboRSI-27B-Preview는 모델 규모를 줄여 1회당 추론 비용을 낮추고, 피지컬 AI 역량을 모델에 내재화해 불필요한 추론과 시행착오를 줄였다. 그 결과 과제 완수 비용을 GPT-6-Astra의 50분의 1로 낮췄다.


센스타임은 GPT-6-Astra 시스템 테스트로 역량의 한계와 상용화의 걸림돌을 파악하고, RoboRSI로 재현 가능한 평가 인프라를 개방했으며, 27B 모델로 더 낮은 비용의 실행 방안을 모색했다. 이를 통해 문제 발견과 실험 검증, 해법 개선을 하나로 잇겠다는 구상이다. 센스타임은 커뮤니티와 함께 피지컬 AI 연구의 초점을 벤치마크 점수 경쟁에서 실제 과제 수행 능력, 실행 효율, 신뢰성에 대한 지속적인 탐구로 옮겨 가길 기대한다고 밝혔다.