ARDY (NVIDIA)
NVIDIA의 실시간·대화형 3D 휴먼/휴머노이드 모션 생성 모델
•
GitHub: https://github.com/nv-tlabs/ardy
•
학회: ACM TOG / SIGGRAPH 2026
•
출시: 2026년 7월 10일경
한줄 요약
•
Autoregressive Diffusion + Hybrid Representation으로 프레임 단위 스트리밍 모션 생성
•
온라인 텍스트 프롬프트 + 장기 기구학 제약(경로·키프레임·관절)을 동시에 지원
•
오프라인 고품질(Kimodo 등)과 온라인 실시간 방법의 갭을 메움
•
코드 Apache 2.0 / 웨이트 NVIDIA Open Model License (상업 이용 가능, 조건 확인 필요)
풀네임
Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
핵심 능력
•
Online text-to-motion — 프롬프트를 스트리밍하며 동작을 실시간 생성
•
Infinite / continuous generation — 미리 고정된 시퀀스 길이 없이 계속 생성
•
Kinematic constraints
◦
Root path / waypoint
◦
Full-body keyframe
◦
Sparse joint position / rotation
◦
현재 생성 창을 넘는 long-horizon goal
•
Interactive locomotion — 마우스 waypoint, 키보드 velocity
•
Human / humanoid 스켈레톤 적응
방법 요약
Hybrid motion representation
•
Explicit global root motion + compact latent body embedding
•
Root는 장면 공간 제약을 정확히, body는 저차원 latent에서 효율적으로 생성
Two-stage autoregressive transformer denoiser
1.
Clean global root motion 예측
2.
Root를 조건으로 latent body token 예측
•
Variable-length history context
•
Spatiotemporally sparse kinematic mask conditioning
Motion tokenizer
•
Body motion patch → latent
•
Root patch와 concat한 hybrid representation을 디코딩해 관절 포즈 복원
학습 / 평가
•
대규모 모션캡처 + 텍스트 라벨·GT에서 샘플한 kinematic constraint로 직접 조건화
•
HumanML3D, Bones Rigplay 등에서 모션 품질·제약 준수 평가
•
데모: 동적 텍스트, 키프레임, path following, 실시간 locomotion
공개 모델 예시 (HF)
•
nvidia/ARDY-Core-RP-20FPS-Horizon40 등 Core/기타 스켈레톤·FPS·horizon 변형
•
닉네임으로 로드 (core, core8, g... 등) — README의 스켈레톤 매핑 참고
응용
•
게임 캐릭터 실시간 제어
•
애니메이션 프리비즈 / 인터랙티브 편집
•
시뮬레이션
•
휴머노이드 로봇: ARDY 모션 + SONIC physical tracking → Unitree G1 등 데모
NVIDIA 휴머노이드 모션 생태계와의 관계
•
SOMA Body Model / Retargeter
•
BONES-SEED 데이터셋
•
ProtoMotions, Kimodo(오프라인), MotionBricks, GEAR SONIC 등과 연계
설치·실행 감각
•
공식 repo: nv-tlabs/ardy
•
Interactive demo: 브라우저 viewport에서 온라인 생성·제약·텍스트 스트리밍
•
생성 API 요지: Ardy.autoregressive_step() — text embedding + optional motion_mask/observed_motion → motion frames
•
텍스트 인코더: LLM2Vec (load_text_encoder())
어디에 쓰면 좋은가
•
“말로 지시하면서” 캐릭터/휴머노이드를 실시간으로 움직이고 싶을 때
•
경로·키프레임을 섞은 대화형 모션 저작
•
로봇 whole-body tracking 파이프라인의 상위 모션 소스
라이선스 주의
•
추론 코드: Apache 2.0
•
모델 웨이트: NVIDIA Open Model License — 재배포·상업 배포 전 약관 확인
안녕하세요
•
관련 기술 문의와 R&D 공동 연구 사업 관련 문의는 “glory@keti.re.kr”로 연락 부탁드립니다.
Hello
•
For technical and business inquiries, please contact me at “glory@keti.re.kr”
