从车载对话中抽取「人物 / 身份 / 座位位置 / 公司品牌」的结构化信息。用类型化决策模型(laya-multilingual)替代 2000-token 巨型 prompt,在 510 条模板构造集(seed=42 构造即标注)上把人名 F1 从 0.793 提到 0.964(追平远端 LLM),同时比旧管线快 27 倍、零 token 成本。
选推理模式与例句分类,点例句看座舱图点亮对应座位。
⚠️ 上方两种模式跑的是同一套 v5 管线(JS 移植,与 Python 输出 51 条对拍 51/51 逐字节一致), 区别只在推理发生的位置:预录制回放 = 结果由真实 laya-multilingual 在 Apple M4 Pro 上跑出后固化 (2026-10-23 已用 v5 管线逐条重跑);浏览器实时推理 = 模型(~678MB fp16,国内自动走 hf-mirror; 无持久缓存,每次启用需重新下载)下载进你的浏览器后完全本地推理——零服务器、零 token 成本、隐私不出浏览器。 「管线轨迹」展开可见每条例句的中间结果:候选生成、锚点判定(含模型概率)、增量扫描、属性问答与代码门控裁决。
测试数据集:自建车载中文信息抽取测试集(无公开基准)——51 条人工标注(真实车载口语风格,覆盖人物/身份/座位/公司四类)、510 条构造扩充集(10 个模板族,seed=42 构造即标注)与对抗子集;下方两表分别在 510 扩充集与同机 51 条上报告。
全部数字可用仓库内 scripts/compare_results.py 对 gold 集离线复算。
| 指标 | laya v1 | laya v3 | laya v4 | laya v5(当前) | qwen3.8-flash(关思考) |
|---|---|---|---|---|---|
| 人名 P / R / F1 | 0.885 / 0.719 / 0.793 | 0.924 / 0.908 / 0.916 | 0.958 / 0.931 / 0.944 | 0.971 / 0.957 / 0.964 | 0.964 / 0.964 / 0.964 |
| 位置 / 身份准确率 | 0.779 / 0.828 | 0.755 / 0.796 | 0.799 / 0.885 | 0.879 / 0.888 | 0.988 / 0.979 |
| 行级全对 | 368/510 (72.2%) | 444/510 (87.1%) | 462/510 (90.6%) | 481/510 (94.3%) | 491/510 (96.3%) |
| 指标 | 旧管线 Qwen2.5-Omni-7B (LLM 生成,边车→平台) |
open-jev (DeBERTa-v3-large,仅英文) | laya-multilingual v5 (mmBERT-base 322M) |
|---|---|---|---|
| 延迟 p50 | 0.745s | 1.353s | 0.028s |
| 延迟 p95 | 1.424s | 3.913s | 0.051s |
| 吞吐 | ~68 条/分 | 38.8 条/分 | 1935 条/分 |
| 加载 / 内存 | 远端服务 | 4.4s / 0.7GB | 6.0s / 2.1GB |
| 每次调用成本 | 1400 prompt + 39 completion tokens | 本地机时 | 本地机时 |
两张表的轴:表 1 回答「提取有多准」——laya 四列是同一个 laya-multilingual(mmBERT-base 322M)模型、只换管线规则版本(v1→v5),v5 F1 0.964 已追平远端 LLM 参照 flash;
表 2 回答「三种技术路线各有多快」——同机 51 条实测,laya 纯本地前向、零 token 成本(flash 为远端 LLM 调用、按 token 计费)。
按模板族分解、分布外对抗子集、性能口径(为何在 51 条上测、510 条交叉验证)与全部复现命令,见 evaluation.md。
图 1 · 旧管线(2000-token 巨型 prompt × Qwen2.5-Omni-7B 一次出 JSON)vs 新管线(规则候选 → laya 类型化决策 → 代码层门控),同机 p50 0.745s → 0.028s
旧管线把 2000-token 的抽取规则塞进 prompt 让 LLM 一次输出 JSON; 新管线改成一串封闭选项的判别式问题,由 laya 判别式作答(单次调用内并行答全部问题;管线按锚点→扫描→属性分多轮调用)。
输入输出:输入一句车载口语中文(可含多人、否定句、品牌线索);输出 JSON {"persons": [{"name", "identity", "location", "company"}]}——每个识别出的人物给出身份(15 选项封闭集)、座位(13 选项封闭集)与公司/品牌(v5 起,~90 词词典就近绑定、零模型调用);证据不足的字段置空(防幻觉)。