这是什么
一项可复现的 TypeSafe Jev 计费研究,使用合成支持工单,测量不同状态大小和问题数量下,批量与单独提问的 token 成本和答案稳定性。
它怎么用 Jev
Jev 对合成支持工单状态回答 Noul、Choice 和 Score 问题。研究比较一次调用中提问 N 个问题与 N 次单独调用的计费和答案,使用 usage.input_tokens 和响应值。
用到的原语:choicescorenoul
值得抄的做法
在每个 N 和问题子集上独立推导固定每请求开销 F,以验证精确线性计费。
怎么试
export TYPESAFE_API_KEY=...; python bench.py run; python bench.py report
证据
每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。
- Jev 是主角是0.62
- 有 System One 用法未判定0.59
- 处理了不确定性否0.03
- 有实测数据是0.63
- 可直接跑否0.07
- 值得推荐否0.34
- 是模型的复刻否0.02
- 问题普遍性按 0–2 打分1.01
- 与 Jev 相关是0.99
信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月23日 读 README 写成。