Microduck RL Control & Simulation Studio

🦆

Microduck RL Studio

POLLEN ROBOTICS • MUJOCO WARP • 14-DOF

🐣 뱁보 크몽 홍보관 가기

50 Hz Physics

--:--:--

물리 시뮬레이터 MuJoCo 3.12 Warp Kernel • 20ms Step

활성 정책 모델 alpha_walking PPO Actor-Critic (ONNX)

액추에이터 프로파일 BAM M6 Dynamixel XL330-M288

입출력 차원 61D → 14D Observation → Joint Target

🎯 실시간 물리 렌더링 (Offscreen Capture)

Microduck Simulation Running Animation

REC: 60 FPS TRACKING: TRUNK DIST: 0.75m

실시간 50Hz 자이로/가속도 파형:

Sampling: 0.02s (MuJoCo Integration)

🕹️ 키보드 인터랙션 컨트롤 데크

KEYBOARD LISTENER ON

키보드를 누르면 본 웹 대시보드와 로컬 run_simulator.bat 제어 콘솔이 즉각 반응합니다.

🚀 보행 속도 벡터 제어

전진 가속 (+0.05 m/s) ↑ (Arrow Up)

감속 / 후진 (-0.05 m/s) ↓ (Arrow Down)

좌측 게걸음 (Vy +0.05 m/s) ← (Arrow Left)

우측 게걸음 (Vy -0.05 m/s) → (Arrow Right)

좌회전 요(Yaw) 각속도 A

우회전 요(Yaw) 각속도 E

긴급 급정지 (Stop) Space

🥋 특수 행동 및 자세 트리거

물건 줍기 (Pick Object) G

앉기 ↔ 일어서기 (Sit/Stand) Y

왼발 슈팅 킥 (Ball Kick) K

앞구르기 낙법 (Roulade 360°) R

외란 충격 가하기 (Perturbation) P

🤗

Hugging Face Jobs 원격 대규모 강화학습

4,096개 병렬 MuJoCo Warp 환경을 통한 PPO 분산 훈련 파이프라인

ID: 6a9e6a53e686246ca69a7783

실행 상태

🟢 RUNNING

할당 인프라

NVIDIA L4 (24GB)

병렬 환경 수

4,096 Envs

계정 & 네임스페이스

jongchullee

W&B 로깅 모드

Disabled (패치완료)

체크포인트 저장소

mjlab-velocity-flat-microduck

🌐 Hugging Face Jobs 실시간 웹 대시보드 바로가기 📦 생성 모델 체크포인트 Hub 확인

📋 훈련 파이프라인 구성 요약

mjlab-microduck / rsl_rl

⚙️ 알고리즘 및 하이퍼파라미터

알고리즘PPO (Proximal Policy Optimization)

배치 크기4,096 envs × 24 steps = 98,304

디스카운트 팩터 (γ)0.99

클립 파라미터 (ε)0.2

학습률 (Learning Rate)1e-3 (Adaptive)

🎯 도메인 랜덤화 (Domain Randomization)

바닥 마찰계수0.4 ~ 1.25 Uniform

몸체 무게 섭동±15% (±120g)

액추에이터 전압 강하BAM M6 저항 모사 (11.1V ~ 12.6V)

외란 충격 주기8초마다 2.0 N 외란

⚙️ 14개 관절 실시간 각도 및 BAM M6 액추에이터 텔레메트리

ROBOTIS DYNAMIXEL XL330-M288-T

프랑스 Pollen Robotics의 BAM M6 모델은 전압 손실, 내부 기어 마찰 및 백래시를 고려하여 실제 로봇의 하드웨어 특성을 가상 환경에 완벽하게 일치시킵니다.

🥋 공식 사전학습 정책 모델 (9 ONNX Models)

microduck/policies/*.onnx

🚶 alpha_walking.onnx Default

전진, 후진, 좌우 게걸음 보행 및 요 회전을 통합 지원하는 범용 이족보행 제어기입니다.

입력: 61D • 출력: 14D • PPO

🧍 alpha_stand.onnx B / H

안정적인 제자리 직립 기립 상태에서 몸체의 3축(높이, 피치, 롤) 자세를 유연하게 제어합니다.

입력: 61D • 출력: 14D

🪑 alpha_sitstand.onnx Y

서 있는 자세에서 바닥으로 안정적으로 쪼그려 앉고 다시 완전히 일어서는 동적 모션입니다.

입력: 61D • 출력: 14D

🔍 alpha_ground_pick.onnx G

상체를 깊이 숙여 부리로 바닥에 떨어진 물건을 정확하게 집어 올리는 정밀 숙임 모션입니다.

입력: 61D • 출력: 14D

⚽ ball_kick_left.onnx K

70mm 직경의 축구공을 향해 무게중심을 오른발로 옮긴 후 왼발로 강하게 전방 슈팅합니다.

입력: 61D • 출력: 14D

⚽ ball_kick_right.onnx Shift + K

왼발로 지탱하며 오른발로 전방 목표물을 향해 킥을 날리는 대칭형 슈팅 모션입니다.

입력: 61D • 출력: 14D

🤸 roulade.onnx R

전방으로 360도 공중제비 구르기를 수행한 후 넘어지지 않고 즉시 두 발로 착지하는 낙법 모션입니다.

입력: 61D • 출력: 14D

🛼 roller.onnx Mode 2

발바닥에 롤러스케이트를 장착한 특수 상태에서 고속으로 미끄러지듯 주행하는 바퀴 제어 모드입니다.

입력: 61D • 출력: 14D

🏎️ roller_crouch.onnx Mode 3

롤러스케이트 주행 중 무게중심을 최대한 낮춰 공기저항과 전복 위험을 줄이는 웅크리기 자세입니다.

입력: 61D • 출력: 14D

📊 PPO 61차원 관측 벡터 (Observation Space Breakdown)

Total Dim: 61

몸체 각속도 (Base Ang Vel) 3D (0..2)

IMU 자이로센서에서 측정된 몸체 중심축 각속도 [ωx, ωy, ωz]

투영 중력 벡터 (Projected Gravity) 3D (3..5)

로봇 기준 좌표계로 회전 변환된 3차원 지구 중력 방향 [gx, gy, gz]

명령 속도 및 지령 (Commands) 13D (6..18)

목표 보행 속도 [Vx, Vy, Vyaw] 및 자세 높이, 피치, 롤 목표값

관절 위치 오프셋 (Joint Positions) 14D (19..32)

14개 관절의 기본 기립 위치(Default Pose) 대비 상대 회전각

관절 회전 각속도 (Joint Velocities) 14D (33..46)

14개 서보모터 엔코더에서 50Hz 단위로 계측된 순간 회전속도

이전 스텝 행동 출력 (Previous Actions) 14D (47..60)

t-1 시점에 신경망이 출력한 관절 위치 오프셋 타깃 (제어 연속성 확보)

💻 로컬 시뮬레이터 원클릭 실행 안내

Windows Batch & PowerShell

🚀 원클릭 런처

Windows 바탕화면이나 탐색기에서 run_simulator.bat를 더블클릭하면 3D MuJoCo OpenGL 뷰어 창이 뜹니다.

.\run_simulator.bat

🤗 Hugging Face 학습 상태 확인

클라우드 GPU 학습 작업의 현재 상태를 터미널에서 즉시 조회합니다.

.\check_training_job.bat

원격 가용 체크포인트 -- Hugging Face Hub 실시간 연동

최신 훈련 Iteration -- 50,000 Iter 목표 대비 진행률

클라우드 훈련 시간 -- NVIDIA L4 24GB GPU

로컬 보관 모델 수 -- checkpoints/ 폴더 저장

⚡

최신 체크포인트 원클릭 동기화 (Quick Download)

클라우드 GPU에서 방금 생성된 최신 가중치 모델을 클릭 한 번으로 내 PC(로컬)로 다운로드합니다.

☁️ Hugging Face Hub 원격 체크포인트

반복 (Iter)	파일명	다운로드
원격 목록 불러오는 중...

💾 로컬 다운로드 보관함 (`checkpoints/`)

동기화 완료

로컬 파일 확인 중...

🎮 다운로드한 모델로 로컬 3D 시뮬레이션 실행하기

로컬에 보관된 모델을 시뮬레이터에서 실행할 때 사용하는 명령어입니다:

.\duckenv\Scripts\python.exe microduck_rl\scripts\infer_policy.py --policy microduck\policies\alpha_walking.onnx