客服队列可能只需要回答「这条消息是否表达了紧急诉求」；设计评审可能需要检索证据、比较方案、写出理由。这是不同任务。先为自己的任务准备一小组人工标注样本；下面的排序实验只是一个历史案例，不能决定所有场景的赢家。
程序会拿到什么
这里比较能力与取舍，不是覆盖所有大模型的跑分。成本、时延与正确性取决于模型、通道、输入和评估配置。
| Jev | 生成式大模型评委 | |
|---|---|---|
| 输出 | 带类型的答案：noul、choice、score；1.14 另有实验性 box | 文字或结构化输出，取决于接口与配置 |
| 适合起步的任务 | 围绕所给材料的有界语义问题，并保留明确的未知出口 | 综合、解释、批评，或需要多个推理步骤的判断 |
| 概率 | 以校准判断为训练目标；仍需用自己的标注数据验证校准与阈值 | 写出的置信度本身不是校准证据；要用作阈值，就单独评估 |
| 成本与耗时 | 输入每百万 token $0.042，输出免费；重复的窄问题可能较经济 | 价格与时延差异很大，要计入检索、生成、重试与额外评审调用 |
| 证据缺失 | 补材料或保留未判；格式正确的答案不能证明证据充分 | 尽可能检索证据，核对解释，也允许保留未判 |
| 程序负责什么 | 应用阈值、分流结果、处理失败 | 校验输出，并执行同样明确的失败策略 |
一次历史排序实验
2026 年 9 月 19 日，我们让几位评委从同一批 150 个项目里各选十个。Jev v3 使用项目摘要、描述及 README 前 700 个字符，每项目问八道题，代码加权后取前 20，再正反两序两两比较：150 次初筛请求，加 380 次对决请求。
该流程把 0.4–0.6 视为无判定，再合并初筛与对决名次。这些是本次实验的策略，不是其他任务已经验证的默认值。保存的对决分析中，平均位置偏差统计量为 −0.139，当时解释为偏向第二张卡；询问两种顺序是缓解办法，不等于已证明消除了偏差。
- 与 Fable 前十的重合
- Jev v3（1.13）5 / 10Opus · Sonnet · Haiku6–7 / 10
- 估算成本
- Jev v3（1.13）$0.027Claude Fable 5.1≈ $0.95
- 记录的总耗时
- Jev v3（1.13）30 秒Claude Fable 5.1105 秒
重合数按两份十项榜单共有的项目 ID 计算。Opus、Sonnet、Haiku 与 Fable 分别重合 7、6、6 项。成本与时间只描述这一负载和配置，不代表输出质量相同。
Jev v2 和 v3 都与 Fable 重合五个项目。这是模型间一致度，不是 50% 准确率，也不是 Jev 的能力上限。各版本的材料覆盖、题目、权重和排序流程没有保持不变，因此结果不能单独解释榜单差异的原因，也不能证明改措辞不会有帮助。
| Jev v3（1.13） | Claude Fable 5.1 | |
|---|---|---|
| 与 Fable 前十的重合 | 5 / 10 | 参照榜单，不是真值 |
| 估算成本 | 530 次请求 $0.0267 | $0.946 |
| 记录的总耗时 | 29.633 秒，8 路并发 | 104.503 秒 |
| 仅初筛阶段 | 150 次请求 · 9.124 秒 · 约 $0.0097 | 未单独测量 |
核对保存的证据
2026 年 11 月 2 日从 experiments/top10/compare.json 与 v3.json 复算。下载包含原时间戳、源文件 SHA-256、选定的项目 ID 榜单、记录的耗时/成本字段和重算交集；不包含请求头、密钥或原始对话。这是整理后的历史摘录，不是新 API 实跑。
# Node.js 22+; keep both downloaded files in the same folder node content-value-recompute-judge.mjs
- Fable 也是评委，没有独立人工答案。因此不能从重合数推导 precision、recall 或校准分数。
- 单一项目集合和截断的 README 不能代表客服分流、安全审查或现在的图鉴；这里也没有重复运行的不确定性估计。
- Jev 流水线与大模型评审是不同系统。token 成本是估价，不是账单；并发和通道会影响总耗时。
- 记录来自 2026 年 9 月的 Jev 1.13，未测量 Jev 1.14，也未证明「初筛再交大模型」能提高质量。
先选一个基线
先定义实际任务的质量目标，再选择能达标的低成本方法。
规则能精确枚举吗？
先写代码：解析日期、比较金额、匹配白名单、数项目数量。确定性工作不必交给模型。
是围绕所给材料的有界语义问题吗？
可以试 Jev，在相同标注样本上对照规则和指定的大模型。选阈值前，先看误报、漏报和未判比例。
需要综合、文字理由或修改建议吗？
先试生成式大模型，并提供来源证据。核对事实与结构化输出；解释有说服力也可能是错的。
关键证据缺失吗？
先检索或追问。仍拿不到时保留未知，不把模型置信度当成事实。
需要反复调用评委吗？
在质量相当时比较端到端成本和时延，包括重试与人工处理。单次调用便宜，不一定使整个流程更便宜。
组合使用，也要验证交接点
初筛可以减少昂贵的复核次数。历史初筛处理 150 个项目耗时 9.124 秒，但我们没有以人工标签验证完整的 Jev→Fable 组合。真正过滤前，要先测漏掉了多少有价值的案例，并把不确定案例交给复核。
可以让生成式大模型把规则起草成问题，再用 Jev 检查题目。jevbooks 的 Ask 就这样分工。这些检查提供复核线索，不保证问题或阈值正确。
带一个具体任务去 Ask：材料、一道判断题、允许的结果、证据不足时怎么办。然后保存基线，用同一组案例对照生成的方案。