jevbooks

← 全部项目

jev-acento

marcosmartinez/jev-acento · 项目主页

Jev 西班牙语审计:准确率、校准与 token 成本。

评测与基准81%次选分类: 校准与研究漏斗

这是什么

对 TypeSafe AI 的 Jev 模型在西班牙语上的独立可复现审计,测量四个人类标注数据集上的准确率、校准和 token 成本,并提供 CLI 在自有标注数据上运行相同比较。

它怎么用 Jev

Jev 根据 state 回答类型化问题(Choice、Noul)。审计比较三个组:英语 state 加英语 instructions(A)、西班牙语 state 加英语 instructions(B)、西班牙语 state 加西班牙语 instructions(C)。结果用于测量准确率、校准和 token 成本。

用到的原语:choicenoul

值得抄的做法

配对设计:各组使用相同条目,分离 state 语言和 instructions 语言的影响。

怎么试

uv tool install jev-acento; acento run --provider typesafe

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角未判定0.51
  • 有 System One 用法0.09
  • 处理了不确定性0.04
  • 有实测数据0.97
  • 可直接跑未判定0.42
  • 值得推荐0.37
  • 是模型的复刻0.03
  • 问题普遍性按 0–2 打分1.08
  • 与 Jev 相关0.99

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月21日 读 README 写成。