jevbooks

← 全部项目

jev-cite-check

simonsez9510/jev-cite-check

Jev 门控检验 AI 回答是否真正依据所引条例条文。

校验与安全门78%次选分类: 评测与基准互不可见交叉题

这是什么

一个可复现实验包:让 Jev(TypeSafe AI System One)判断 AI 生成的关于地方条例的句子,是否真正依据其引用的条文。面向测试生成答案独立评分门控的研究者。

它怎么用 Jev

对 120 个(条文,回答)对,run.mjs 向 Jev 询问 Choice{지지/모순/무관} 以及 Boolean{仅凭所引条文该回答是否成立}。Boolean 概率被读作“grounded”,逐对汇总并打印。

用到的原语:choicescore

值得抄的做法

把 Jev 的 Boolean 概率当作门控:低于 0.5 转人工复核,高于则放行。

怎么试

npm install,设置 AI_GATEWAY_API_KEY,然后 node --env-file=.env run.mjs(或 run.mjs dataset100.json result100.json)。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.94
  • 有 System One 用法0.70
  • 处理了不确定性0.05
  • 有实测数据0.98
  • 可直接跑0.11
  • 值得推荐未判定0.53
  • 是模型的复刻0.06
  • 问题普遍性按 0–2 打分1.10
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。