jevbooks

← 全部项目

jev-fanout-bench

blowxian/jev-fanout-bench · 项目主页

实测:批量提问 Jev 仅计费一次状态,节省高达 86%。

评测与基准81%次选分类: 校准与研究问卷

这是什么

一项可复现的 TypeSafe Jev 计费研究,使用合成支持工单,测量不同状态大小和问题数量下,批量与单独提问的 token 成本和答案稳定性。

它怎么用 Jev

Jev 对合成支持工单状态回答 Noul、Choice 和 Score 问题。研究比较一次调用中提问 N 个问题与 N 次单独调用的计费和答案,使用 usage.input_tokens 和响应值。

用到的原语:choicescorenoul

值得抄的做法

在每个 N 和问题子集上独立推导固定每请求开销 F,以验证精确线性计费。

怎么试

export TYPESAFE_API_KEY=...; python bench.py run; python bench.py report

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.62
  • 有 System One 用法未判定0.59
  • 处理了不确定性0.03
  • 有实测数据0.63
  • 可直接跑0.07
  • 值得推荐0.34
  • 是模型的复刻0.02
  • 问题普遍性按 0–2 打分1.01
  • 与 Jev 相关0.99

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月23日 读 README 写成。