엔비디아(www.nvidia.co.kr)는 세계 최대 규모 로봇 콘퍼런스인 로스콘(ROSCon)에서 로봇운영체제(ROS) 개발자를 위한 생성형 AI 솔루션을 공개했다고 25일 밝혔다.

로스콘은 덴마크 오덴세(Odense)에서 10월 21일(현지 시간)부터 사흘 간 진행된다. 이번 발표에서 엔비디아(NVIDIA)는 로봇 생태계 파트너들과 함께 ROS 개발자를 위한 생성형 AI툴, 시뮬레이션, 인식 워크플로우를 소개했다.

여기에는 엣지 AI와 로보틱스용 엔비디아 젯슨(Jetson) 플랫폼에 배포하는 ROS 개발자를 위한 새로운 생성형 AI 노드와 워크플로우가 포함됐다. 생성형 AI를 통해 로봇은 주변 환경을 인식하고 이해하며, 인간과 자연스럽게 소통하고 자율적으로 상황에 맞는 결정을 내릴 수 있다.

ROS 2를 기반으로 구축된 리맴버(ReMEmbR)는 생성형 AI를 사용해 로봇의 추론과 행동을 향상시킨다. 이는 거대 언어 모델(LLM), 비전 언어 모델(VLM), 검색 증강 생성(RAG)을 결합한다. 이를 통해 로봇이 장기적인 의미 기억을 구축하고 쿼리하며 환경을 탐색하고 상호 작용하는 능력을 향상시킨다.

음성 인식 기능은 위스퍼TRT(WhisperTRT) ROS 2 노드에 의해 구동된다. 이 노드는 엔비디아 텐서RT(TensorRT)를 사용해 오픈AI(OpenAI)의 위스퍼(Whisper) 모델을 최적화해 엔비디아 젯슨에서 지연 시간이 짧은 추론을 가능하게 함으로써 인간과 로봇의 즉각적인 상호 작용을 가능하게 한다.

음성 제어 기능을 갖춘 ROS 2 로봇 프로젝트는 엔비디아 리바(Riva) ASR-TTS 서비스를 사용해 로봇이 음성 명령을 이해하고 이에 응답할 수 있도록 한다. 나사 제트추진연구소(The NASA Jet Propulsion Laboratory)는 ROS용 AI 기반 에이전트인 로사(ROSA)를 독자적으로 선보였다. 이는 네뷸라-SPOT(Nebula-SPOT) 로봇과 엔비디아 아이작 심(Isaac Sim)의 엔비디아 노바 카터(Nova Carter) 로봇에서 작동했다.

로스콘에서 캐노니컬(Canonical)은 엔비디아 젯슨 오린 나노(Jetson Orin Nano) 시스템 온 모듈에서 실행되는 제로샷(zero-shot) 물체 감지 모델인 나노OWL(NanoOWL)을 시연한다. 이 모델을 사용하면 로봇이 사전 정의된 범주에 의존하지 않고도 광범위한 물체를 실시간으로 식별할 수 있다.