supermimic-dance · 2025 春晚群舞视频 → PromptHMR + GMR 重定向（9 名舞者）→ SuperMimic 复现策略（98k checkpoint，LAFAN1 训练）在 MuJoCo 物理仿真中零样本跟踪 · 纯仿真、无真机、无微调
你在看什么：左边是输入——2025 春晚群舞视频的高潮选段（29–37s）；右边是输出——Unitree G1 人形机器人在 MuJoCo 物理仿真里跳同一支舞。机器人不是回放关节角：一个只在 mocap 数据（LAFAN1）上训练过的跟踪策略从没见过这段舞，它每个控制步（50 Hz）读自己的本体感知 + 未来 10 帧参考动作，输出关节目标，由物理引擎算出平衡、接地与全身动力学——摔了就是摔了，没有运动学兜底。
怎么读画面：视频顶部标签条给出管线、图例与指标。hero 视频右侧面板里实体机器人 = 策略驱动的物理仿真结果，青色半透明虚影 = 从视频重定向出的参考动作（同一世界坐标系）——两者贴得越近，跟踪越准；齐舞视频为 9 台实体机器人同一场景（无虚影）。
两条视频均为零样本结果：策略权重是 SuperMimic-MuJoCo 复现仓发布的 98k checkpoint（训练集只有 LAFAN1 的 40 条 mocap 重定向动作），对本舞蹈无任何微调。hero 视频后段实体与虚影会渐渐分开 = 纯本体感知策略的世界系全局漂移（舞姿本身保持同步，漂的是舞台位置）——量化见「评测结果」的世界系根漂移列。前作 spring-festival-dance-robot 是同一支视频的运动学重定向回放（无物理），本页是它的物理版续作。
测试数据与协议：输入 = 2025 春晚舞蹈片段 dance_1.mp4（39.3s / 1180 帧 @30fps，Datawhale video2robot 教程自带素材），PromptHMR 检出 9 名舞者、GMR 逐人重定向为 G1 29-DoF 参考动作。跟踪策略 = SuperMimic-MuJoCo 复现 98k checkpoint（LAFAN1 40 条 G1 重定向动作训练，零样本、无微调）。评测 = MuJoCo 原生 CPU（macOS arm64）、50 Hz 控制、每条从参考首帧跑到尾帧、无噪声无域随机化（确定性评测，无 seed 方差）。指标口径：return = 评测器归一化跟踪回报（越高越好，1 为参考级）；关节 MAE = 策略关节角 vs 参考关节角平均绝对误差（度）；对齐 MPJPE = 按 xy+yaw 对齐后 14 个跟踪刚体的平均每关节位置误差（cm，衡量舞姿贴合度）；世界系根漂移 = 根位置与参考的世界系欧氏距离均值（m，衡量全局位置漂移）。
| 舞者 | return | 关节 MAE | 对齐 MPJPE | 世界系根漂移 | 完片 |
|---|---|---|---|---|---|
| track1 | 0.7032 | 6.91° | 5.85cm | 2.31m | ✓ |
| track2 | 0.6989 | 6.90° | 5.36cm | 2.88m | ✓ |
| track3 | 0.6968 | 6.51° | 5.33cm | 3.01m | ✓ |
| track4 | 0.7602 | 6.49° | 4.75cm | 1.67m | ✓ |
| track5 | 0.7411 | 6.51° | 5.16cm | 2.23m | ✓ |
| track6 | 0.6856 | 6.95° | 6.32cm | 3.40m | ✓ |
| track7 | 0.6934 | 7.22° | 5.80cm | 3.58m | ✓ |
| track8 | 0.7037 | 7.05° | 5.69cm | 2.36m | ✓ |
| track9 | 0.6386 | 8.18° | 6.40cm | 4.54m | ✓ |
| 均值 | 0.7024 | 6.97° | 5.63cm | 2.89m | 9/9 |
| 参照 · LAFAN1 库内¹ | 0.871 | 4.40° | — | — | 40/40 |
| 参照 · 100STYLE OOD¹ | 0.805 | 6.99° | — | — | 3569/3573 |
¹ 参照行 = 同一 98k checkpoint 在 SuperMimic-MuJoCo README 的发布口径（LAFAN1 库内 40 条 / 100STYLE 未见 3573 条），非本页重跑。结论：视频重定向舞蹈的关节精度（6.5–8.2°）正落在该策略的 OOD 发布带（6.99°）——比 mocap 库内（4.40°）噪、与未见 mocap 同级，符合「视频 HMR 比重定向 mocap 噪声大」的预期。世界系根漂移随片长累积（纯本体感知观测的已知行为）；对齐 MPJPE 仅 4.8–6.4cm ⇒ 舞姿贴合、漂的是舞台全局位置——这也是 demo 用 8s 选段的理由（表 2 根位置误差降到全片的 ~1/3）。
| 舞者 | return | 关节 MAE | 对齐 MPJPE | 根位置误差 | 完片 |
|---|---|---|---|---|---|
| track1 | 0.7107 | 6.10° | 5.02cm | 0.65m | ✓ |
| track2 | 0.6303 | 7.99° | 6.55cm | 1.01m | ✓ |
| track3 | 0.6777 | 6.40° | 5.95cm | 0.81m | ✓ |
| track4（hero） | 0.7640 | 6.07° | 4.61cm | 0.79m | ✓ |
| track5 | 0.7620 | 5.83° | 5.08cm | 0.73m | ✓ |
| track6 | 0.7102 | 6.04° | 5.88cm | 0.68m | ✓ |
| track7 | 0.6813 | 6.68° | 5.89cm | 1.24m | ✓ |
| track8 | 0.6901 | 6.45° | 5.21cm | 1.05m | ✓ |
| track9 | 0.5527 | 8.44° | 7.28cm | 1.28m | ✓ |
| 均值 | 0.6866 | 6.67° | 5.72cm | 0.92m | 9/9 |
两表的轴：表 1 = 整支舞全片（回答「能否完整跟下来」，漂移随片长累积）；表 2 = 演示视频所用的 8s 共同时间窗（回答「选段上的跟踪质量」，9 机同窗保证同场景齐舞视频时间对齐）。选段规则（select_excerpt.py，预登记后执行）：全片 rollout 上滑 8s 窗，在「平均舞蹈强度（参考关节角速度）≥80°/s」的窗口里取最差舞者误差最小者 → [29, 37]s（强度 84°/s、最差 8.24°）。选段 return 均值 0.687 略低于全片均值 0.702——高潮段动作更快更难跟，属预期而非退化；根位置误差 0.65–1.28m ≈ 全片的 1/3，印证短选段压漂移。
诚实边界：① 纯仿真（MuJoCo），无真机部署；② 零样本单 checkpoint，无微调、无逐动作调参；③ 视频重定向环节本身有失败率——相关先行工作 seerier/Humanoid-Motion 实测 8 条视频 2 条败在重定向（GMR IK 局部极小）并被其审计门逮住；本项目直接复用前作已产出且经人工目检的重定向产物，未重跑审计门，「任意视频输入」需配审计门才成立；④ 春晚素材仅作非商业技术演示。
图 1 · 视频 → 物理跟踪全管线：舞蹈视频 → PromptHMR（逐舞者 SMPL-X）→ GMR 重定向（G1 29-DoF，30fps）→ 格式转换（joblib）→ SuperMimic 98k 策略（本体感知 + 未来 10 帧参考 → 关节目标）→ MuJoCo 50Hz 物理闭环；策略零样本（训练集只有 LAFAN1 mocap）
输入 / 输出：系统吃一段单目舞蹈视频（本例 39.3s 春晚群舞，检出 9 名舞者），吐物理仿真中 G1 人形机器人跟踪该舞蹈的 29-DoF 关节轨迹（50 Hz）+ 评测指标（return / 关节 MAE / 对齐 MPJPE / 根漂移）+ 渲染视频。逐环节 I/O：PromptHMR（视频帧 → 逐舞者 SMPL-X 姿态序列，Kaggle GPU 跑）；GMR（SMPL-X → G1 关节角 + 根位姿，30fps，IK 重定向）；格式转换（GMR pkl → SuperMimic joblib：root_rot 本就是 xyzw 四元数、dof_pos 本就是 Unitree SDK 关节序、米制 z-up——纯字段映射，含形状/有限性/四元数范数断言）；SuperMimic 策略（本体感知观测 + 未来 10 帧参考动作 → 关节位置目标，PD 控制 @50Hz）；MuJoCo（关节目标 → 物理状态，回灌策略构成闭环）。
部署与复现：评测/渲染全链在 macOS arm64 纯 CPU 本地跑通（SuperMimic-MuJoCo 官方仅在 Linux x86_64 验证，Mac 实测 43 项契约检查全过 + 评测复现发布口径 + 渲染 --gl glfw 可用；安装须跳过含 CUDA 包的官方 lock、按 pyproject 纯依赖装）。重推理（PromptHMR/GMR）复用前作 Kaggle 产物。完整步骤见 REPRODUCE.md。
致谢与来源：SuperMimic = Liao, Abbeel, Sreenath（UC Berkeley，arXiv 2610.28480，官方未放代码）；本页用的移植与 98k checkpoint 来自 panhainan2020/SuperMimic-MuJoCo；GMR（ICRA 2026，arXiv 2510.02252）与 PromptHMR 经 spring-festival-dance-robot（Datawhale every-embodied 教程复刻）vendored；相关先行工作 seerier/Humanoid-Motion（MIT，首次展示视频导出参考被 SuperMimic/BeyondMimic 零样本跟踪，本页选段与审计思路受其启发）；LAFAN1 = Ubisoft La Forge（CC BY-NC-ND 4.0），G1 重定向版取自 lvhaidong/LAFAN1_Retargeting_Dataset。
诚实定位：管线非原创——「视频 → 重定向 → 物理跟踪」是人形动作跟踪生态的既定路线，可行性已被先行工作证成；本项目的增量 = 9 名舞者的全量评测 + 舞蹈强度选段方法 + Mac 本地纯 CPU 全链复现 + 呈现层（本页与两条视频）。纯仿真趣味 demo：无真机、无训练、无微调，不构成研究贡献。