这是什么
一个 Python 基准测试，在带标签的分类任务上比较 TypeSafe Jev 与任意 OpenRouter 模型，报告准确率、校准、延迟、成本和确定性。它可运行三个内置公开任务，或 data/ 中你自己的数据。
它怎么用 Jev
Jev 回答任务的问题：choice 从标签中选一个，score 选一个有序等级，noul 返回是/否概率。其返回的分布给出置信度，报告用它计算准确率、ECE 和 AUROC 指标。
用到的原语:choicescorenoul
值得抄的做法
两个模型使用相同的指令和选项名称；置信度是所选标签的概率。
怎么试
cp .env.example .env；uv sync；uv run python -m evaljev.run --model jev；uv run python -m evaljev.report
证据
每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」，≤ 0.40 算「否」，中间这一段 Jev 不下判断。
- Jev 是主角未判定0.53
- 有 System One 用法否0.10
- 处理了不确定性否0.04
- 有实测数据是0.98
- 可直接跑否0.20
- 值得推荐否0.25
- 是模型的复刻否0.05
- 问题普遍性按 0–2 打分1.17
- 与 Jev 相关是0.98
信号由 Jev jev-1.13.0 判定，简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。