第二部署目标 Cosmos3-Edge(4B 全模态世界模型)的 2B VL reasoner,部署在 Jetson Orin,对真实驾驶视频帧做自由场景描述。
4 个真实驾驶 clip(各均匀采样 6 帧,前视广角相机)。点击场景切换,点击帧放大。
测试数据集:自建驾驶域基准 n=184——PhysicalAI-AV 真实帧 + 人工校验的 8 选 1 单选标注(随机基线 12.5%),单一评测集、无训练/测试划分。上方演示是自由描述(定性),这里是 reasoner 在同一基准下的定量精度。完整口径与诚实边界见 Phase W 报告 §W.2。
| 模型 | n=184 精度 | 说明 |
|---|---|---|
| Cosmos3-Edge 2B FP16(本页演示模型) | 42.4% | Wilson 95% CI [35.5, 49.6] · 3.4× 随机基线(12.5%) |
| Cosmos-Reason2-8B FP16 | 51.6% | 上代 8B 基线 |
| Cosmos-Reason2-8B INT8 | 47.8% | −3.8 pts |
| Cosmos-Reason2-8B INT4 | 50.5% | −1.1 pts |
跨代对比:Cosmos3-Edge 2B 比上代 Cosmos-Reason2-8B FP16 低 9.2 pts(McNemar p=0.0115,显著)——缩小模型不免费;而 8B 的量化版(INT8/INT4)相对 FP16 掉点很小——量化几乎免费。Cosmos3-Edge 2B 仍达随机基线 3.4×、具备真实场景理解;184/184 全部 EOS、零解析失败。
图 1 · Cosmos3-Edge 2B reasoner 的 Orin 推理链:6 帧 + prompt → visual / llm 双引擎(分解注意力补丁绕开 TRT-11-only 算子墙)→ 自由描述(演示)与 8 选 1 单选(评测 n=184)两种输出
| 项 | 值 |
|---|---|
| 模型 | Cosmos3-Edge(4B 全模态 = 2B VL reasoner + rectified-flow 扩散专家),本页用 reasoner |
| 引擎 | FP16,llm 3.7G + visual 940M(分解注意力版,K4/K6 绕过 TRT-11-only 算子墙) |
| 硬件 / 运行时 | Jetson Orin sm_87 · JetPack 6.2 · TensorRT 10.7 · TRTEdge v0.10.1 |
| 输入 | 自由描述(演示):6 帧 @448×256 + 自由描述 prompt(maxInputLen 2048);8 选 1 单选(评测 n=184):6 帧(前视广角 120° 相机)+ 问题与 8 个选项 |
| 输出 | 自由描述:自由场景描述文本(greedy,max 200 tokens);单选:选项字母(如 "B",经 parse_choice 解析,n=184 上 unparsed=0) |
| 延迟 | ~0.9 s / 请求(n=184 基准口径) |