jevbooks

← 全部项目

jev-synthetic-survey

jjd-lab/jev-synthetic-survey · 项目主页

Jev 与 GPT-4.1 作为合成调查受访者在 Twin-2K-500 上的对比。

评测与基准46%次选分类: 校准与研究体检

这是什么

将 Jev 和 GPT-4.1 作为 300 个合成调查受访者运行在 Twin-2K-500 上,比较用于调查研究的概率引出方法。

它怎么用 Jev

Jev 以 Noul(单一概率)回答是/否问题,以 Choice 回答多选项问题。其概率向量与 GPT-4.1 的口头概率在分布差距、校准、Brier 和准确率上进行比较。

用到的原语:choicenoul

值得抄的做法

将是/否项目作为 Noul 而非 Choice 提问,对结果的影响大于模型选择。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.82
  • 有 System One 用法0.33
  • 处理了不确定性0.04
  • 有实测数据0.75
  • 可直接跑0.04
  • 值得推荐未判定0.43
  • 是模型的复刻0.04
  • 问题普遍性按 0–2 打分0.83
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月21日 读 README 写成。