jevbooks

← 全部项目

awesome-jev-robustness

Yifan-Lan/awesome-jev-robustness

独立 Jev 鲁棒性测试与校准审计的精选索引。

校准与研究91%次选分类: 评测与基准问卷体检

这是什么

一份独立 Jev(TypeSafe System One)测试的精选索引,按校准、一致性、扰动、注入、弃权、失败模式和语言分组。它链接原始来源,将数字作为作者发现报告,并将没有鲁棒性角度的任务基准单独放在数据文件中。

它怎么用 Jev

README 未说明 Jev 在代码中如何使用;这是一个外部测试目录,而非实现。条目报告 Jev 的答案或概率如何随问题措辞、选项顺序、重复调用、语言、注入文本或无选项输入而变化,以及返回的概率是否校准。

用到的原语:choicescorenoul

值得抄的做法

按所测量的属性对独立鲁棒性测试分组,报告作者数字,并将任务基准分开。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.78
  • 有 System One 用法0.08
  • 处理了不确定性0.08
  • 有实测数据0.20
  • 可直接跑0.05
  • 值得推荐0.23
  • 是模型的复刻0.02
  • 问题普遍性按 0–2 打分1.04
  • 与 Jev 相关0.99

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月23日 读 README 写成。