← 返回主页

Cosmos3-Edge 驾驶场景理解 Demo

第二部署目标 Cosmos3-Edge(4B 全模态世界模型)的 2B VL reasoner,部署在 Jetson Orin,对真实驾驶视频帧做自由场景描述。

Cosmos3-Edge 2BFP16 Jetson Orin sm_87TensorRT-Edge-LLM 分解注意力(K4/K6)真实 Orin 推理输出

演示

4 个真实驾驶 clip(各均匀采样 6 帧,前视广角相机)。点击场景切换,点击帧放大。

Cosmos3-Edge 场景描述(模型原始输出 · 英文)
greedy 解码,max 200 tokens,6 帧 @448×256 输入,单次推理 ~0.9s(Jetson Orin)。

评测结果

测试数据集:自建驾驶域基准 n=184——PhysicalAI-AV 真实帧 + 人工校验的 8 选 1 单选标注(随机基线 12.5%),单一评测集、无训练/测试划分。上方演示是自由描述(定性),这里是 reasoner 在同一基准下的定量精度。完整口径与诚实边界见 Phase W 报告 §W.2。

表 1 · 自建驾驶域基准(n=184)上的精度对比
模型n=184 精度说明
Cosmos3-Edge 2B FP16(本页演示模型)42.4%Wilson 95% CI [35.5, 49.6] · 3.4× 随机基线(12.5%)
Cosmos-Reason2-8B FP1651.6%上代 8B 基线
Cosmos-Reason2-8B INT847.8%−3.8 pts
Cosmos-Reason2-8B INT450.5%−1.1 pts

跨代对比:Cosmos3-Edge 2B 比上代 Cosmos-Reason2-8B FP16 低 9.2 pts(McNemar p=0.0115,显著)——缩小模型不免费;而 8B 的量化版(INT8/INT4)相对 FP16 掉点很小——量化几乎免费。Cosmos3-Edge 2B 仍达随机基线 3.4×、具备真实场景理解;184/184 全部 EOS、零解析失败。

核心方法

Jetson Orin · TRT 10.7 · TRTEdge 0.10.1 6 帧 @448×256 前视广角 120° 相机 visual 引擎 940M 分解注意力 K4/K6 补丁 llm 引擎 3.7G 2B VL reasoner · FP16 自由场景描述 greedy · max 200 tokens(演示) 8 选 1 单选字母 parse_choice · n=184 unparsed=0(评测) prompt 自由描述 / 问题+8 选项 绕开 TRT-11-only 算子墙 ~0.9 s / 请求(n=184 口径)
输入 / 数据 模型推理 硬件部署 输出结果 问题 / 补丁

图 1 · Cosmos3-Edge 2B reasoner 的 Orin 推理链:6 帧 + prompt → visual / llm 双引擎(分解注意力补丁绕开 TRT-11-only 算子墙)→ 自由描述(演示)与 8 选 1 单选(评测 n=184)两种输出

表 2 · 部署配置与关键口径
项值
模型Cosmos3-Edge(4B 全模态 = 2B VL reasoner + rectified-flow 扩散专家),本页用 reasoner
引擎FP16,llm 3.7G + visual 940M(分解注意力版,K4/K6 绕过 TRT-11-only 算子墙)
硬件 / 运行时Jetson Orin sm_87 · JetPack 6.2 · TensorRT 10.7 · TRTEdge v0.10.1
输入自由描述(演示):6 帧 @448×256 + 自由描述 prompt(maxInputLen 2048);8 选 1 单选(评测 n=184):6 帧(前视广角 120° 相机)+ 问题与 8 个选项
输出自由描述:自由场景描述文本(greedy,max 200 tokens);单选:选项字母(如 "B",经 parse_choice 解析,n=184 上 unparsed=0)
延迟~0.9 s / 请求(n=184 基准口径)