jevbooks

← 全部项目

jev-rerank-bench

anessbelbati/jev-rerank-bench

在14个数据集上对比Jev与专用重排序器。

打分与排序97%次选分类: 评测与基准只放要判的东西

这是什么

一个基准测试,比较TypeSafe Jev与Cohere Rerank 4、ZeroEntropy zerank-2及聊天模型基线在段落重排序上的表现,包含原始API响应、评分代码和不确定性区间。

它怎么用 Jev

Jev使用4级评分标准、是/否问题或Choice+none设置对每个查询的30个BM25候选进行排序。其分数用于排序段落并计算nDCG@10、Top-1等指标。

用到的原语:choicescorenoul

值得抄的做法

使用带有类型化问题的决策模型进行重排序,并与专用重排序器对比。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.28
  • 有 System One 用法0.23
  • 处理了不确定性0.04
  • 有实测数据0.95
  • 可直接跑0.05
  • 值得推荐0.30
  • 是模型的复刻0.06
  • 问题普遍性按 0–2 打分1.36
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。