ByteNoteByteNote
结构像不等于工程对:Simulink 生成的新基准
字

字节笔记本

2026年10月5日 · 约 1 分钟读完

结构像不等于工程对:Simulink 生成的新基准

API中转
¥120

让 agent 生成 Simulink 模型,编译通过、跑得起来、长得像参照物,就等于工程上正确吗?Ruiqi Zhang 等 12 位作者的 SimuVerity(arXiv:2610.02304)给出否定答案,并提供了量化的尺子。

SimuVerity 仓库卡片

基准怎么建

101 道文本到可执行 Simulink 的生成任务,横跨十个工程领域,每道题由可执行系统画像打底,配四族原生仿真场景验证。判卷分三层:先看产物有没有交付,再看模型能不能执行,最后过工程合格审查。合格审查按六个维度打分:准确性、输出质量、机理保真、控制与因果完整性、运行域鲁棒性、动态响应。

成绩单的提醒

三层判卷与六维图解

六个受测 agent 系统里,最高分只有 42.86。两个反直觉发现值得记住:结构相似度是工程性能的弱代理,长得像参照模型不代表行为正确;部分高分模型的视觉布局严重错乱,说明能跑与好看、正确三者可以完全脱钩。对做工业仿真的团队,这个基准直接可以用作验收工具,别再拿编译通过当交付标准。基准与评估器开源在 github.com/SimuVerity/SimuVerity,论文 CC BY 4.0。

与站内写过的 PLCWorld、Mimir 连起来看,工程级评测这条线正在快速成型:物理世界的对错,终究要由物理与仿真说了算。

相关文章

分享: