jevbooks

← 全部项目

jev-korean-benchmark

mahlernim/jev-korean-benchmark · 项目主页

对 Jev 在韩语与医学文本上的可复现早期访问检查。

评测与基准99%次选分类: 分类与路由

这是什么

一项小型冻结研究,从四个公开测试集(Belebele、PAWS-X、MedQA、KorMedMCQA)中每格抽取 100 道题,用韩语和英语提问并记录 Jev 的每次回答。这是样本检查,不是基准测试。

它怎么用 Jev

Jev 回答多项选择题:它一次性返回每个选项的概率以及得分最高的选项,没有推理文本需要解析。研究记录这些回答,并在语言、任务之间以及与 gpt-5.6-luna 进行比较。

用到的原语:choice

值得抄的做法

用两种语言问 Jev 同一道题以隔离语言效应;重排输入以暴露回答不一致。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.83
  • 有 System One 用法0.20
  • 处理了不确定性0.04
  • 有实测数据0.97
  • 可直接跑0.09
  • 值得推荐0.24
  • 是模型的复刻0.05
  • 问题普遍性按 0–2 打分0.94
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。