jevbooks

← 全部项目

assay-001

jourdanlabs/assay-001

对 Jev 校准与类型安全的独立预注册检验。

校准与研究60%次选分类: 评测与基准黑匣子

这是什么

ASSAY-001 是对 TypeSafe Jev 在 Banking77 和 CLINC150 上的校准与类型安全声明进行的预注册验证。结果分裂:在 CLINC150 上校准良好,在 Banking77 上过度自信,8,576 条响应中零类型错误。

它怎么用 Jev

Jev 对每个条目回答一个 Choice 问题,选项描述为 null。所选选项的概率由确定性评分器在冻结规则下与正确性比较。每个请求和响应都被记录并密封。

用到的原语:choice

值得抄的做法

在任何查询前预注册协议并哈希语料库,然后密封每个请求和响应。

怎么试

python3 harness/controls.py; python3 harness/score.py banking77 --sum-tol 0.02

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.89
  • 有 System One 用法0.15
  • 处理了不确定性0.05
  • 有实测数据0.83
  • 可直接跑0.07
  • 值得推荐0.24
  • 是模型的复刻0.04
  • 问题普遍性按 0–2 打分1.22
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月21日 读 README 写成。