jevbooks

← 全部项目

jev-measured

WallerChen/jev-measured

在八个用例中实测 Jev API 的成本、延迟和原始输出。

评测与基准73%次选分类: 校准与研究一个 state 多题平铺

这是什么

一个可复现的基准测试,针对八个真实用例,测量 Jev API(TypeSafe AI 的 System One 决策模型)的成本、延迟和原始输出,供评估 Jev 的开发者参考。

它怎么用 Jev

Jev 做出的决策包括:支持工单分类、钓鱼检测、线索评分、内容审核、RAG 重排序、LLM 模型路由、代理工具选择和代理输出护栏。每次调用发送一个状态和类型化问题;API 返回校准概率,代码中用于路由、评分或门控。

用到的原语:choicescorenoul

值得抄的做法

在引用延迟前先测量网络底线,并在一次调用中提出所有问题,因为它们共享一个状态并并行运行。

怎么试

携带自己的 API 密钥,重新运行 bench/ 中的基准脚本以复现测量结果。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.84
  • 有 System One 用法0.15
  • 处理了不确定性0.05
  • 有实测数据0.69
  • 可直接跑0.09
  • 值得推荐0.28
  • 是模型的复刻0.03
  • 问题普遍性按 0–2 打分1.02
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。