jevbooks

← 全部项目

jev

priorbench/jev

对 TypeSafe AI 的 Jev 模型进行独立、预注册的评估。

评测与基准98%次选分类: 校准与研究

这是什么

PriorBench 是对 TypeSafe AI 的 Jev(一个 System One 模型)进行的独立、预注册评估。它运行 21 个实验和 5,721 次调用,发布原始数据、预测和报告,面向研究人员和从业者。

它怎么用 Jev

README 未描述 Jev 在代码中如何使用。它报告了跨实验对 Jev 的 Choice、Score 和 Noul 原语的测量结果,但未展示集成或决策逻辑。

用到的原语:choicescorenoul

值得抄的做法

在数据收集前预注册预测,并发布被证伪的结果。

怎么试

git clone,安装 requirements,设置 OpenRouter 密钥,运行 latency/bench.py、probes/t6_banc.py、analysis/recount.py。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.86
  • 有 System One 用法未判定0.58
  • 处理了不确定性0.06
  • 有实测数据0.96
  • 可直接跑0.04
  • 值得推荐0.35
  • 是模型的复刻0.03
  • 问题普遍性按 0–2 打分1.15
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。