这是什么
ASSAY-001 是对 TypeSafe Jev 在 Banking77 和 CLINC150 上的校准与类型安全声明进行的预注册验证。结果分裂:在 CLINC150 上校准良好,在 Banking77 上过度自信,8,576 条响应中零类型错误。
它怎么用 Jev
Jev 对每个条目回答一个 Choice 问题,选项描述为 null。所选选项的概率由确定性评分器在冻结规则下与正确性比较。每个请求和响应都被记录并密封。
用到的原语:choice
值得抄的做法
在任何查询前预注册协议并哈希语料库,然后密封每个请求和响应。
怎么试
python3 harness/controls.py; python3 harness/score.py banking77 --sum-tol 0.02
证据
每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。
- Jev 是主角是0.89
- 有 System One 用法否0.15
- 处理了不确定性否0.05
- 有实测数据是0.83
- 可直接跑否0.07
- 值得推荐否0.24
- 是模型的复刻否0.04
- 问题普遍性按 0–2 打分1.22
- 与 Jev 相关是0.98
信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月21日 读 README 写成。