jevbooks

← 全部项目

jevcheck

sathariels/jevcheck

TypeSafe Jev 的行为契约:固定、评估、捕获翻转。

评测与基准100%次选分类: 分类与路由

这是什么

jevcheck 是 TypeSafe Jev 的类 pytest 工具。它固定生产契约(基线模型、fixtures、预期答案),评估候选模型,并在答案翻转或置信度下降时失败。

它怎么用 Jev

Jev 对 fixture 状态做出 choice、score 和 noul 决策。jevcheck 记录基线答案,将候选答案与契约比较,报告 unchanged、confidence regressions 或 answer flips,并给出精确 diff,失败时返回非零退出码。

用到的原语:choicescorenoul

值得抄的做法

记录基线模型的答案,然后将候选模型与该快照比较,以捕获翻转和置信度回归。

怎么试

pip install -e ".[dev]",export TYPESAFE_API_KEY,然后运行 jevcheck eval fixtures/support-triage.json --candidate-model jev-1.14。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角未判定0.54
  • 有 System One 用法未判定0.52
  • 处理了不确定性0.06
  • 有实测数据0.16
  • 可直接跑0.70
  • 值得推荐未判定0.40
  • 是模型的复刻0.06
  • 问题普遍性按 0–2 打分1.17
  • 与 Jev 相关0.97

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月21日 读 README 写成。