jevbooks

← 全部项目

jev-ood-calibration

scienthoon/jev-ood-calibration

对 Jev 在未见规则任务上的独立校准测试。

校准与研究80%次选分类: 评测与基准

这是什么

对 TypeSafe 的 Jev 进行独立校准研究,测量其概率在模型不可能见过的输入上是否仍然诚实:900 条规则生成的工单加上三个公开基准,并公开每一条原始响应。

它怎么用 Jev

Jev 通过 Vercel AI Gateway 对合成工单和公开基准条目回答 Choice、Score 和 Boolean 问题。返回的概率会对照模拟噪声下限计算 ECE,用单一温度重新拟合,并分析各问题类型误校准的符号。

用到的原语:choicescorenoul

值得抄的做法

在评分前公开每一条原始响应,并将 ECE 与模拟噪声下限而非零进行比较。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.76
  • 有 System One 用法0.30
  • 处理了不确定性0.88
  • 有实测数据0.79
  • 可直接跑0.06
  • 值得推荐0.38
  • 是模型的复刻0.03
  • 问题普遍性按 0–2 打分1.51
  • 与 Jev 相关0.99

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。