jevbooks

← 全部项目

jev-align

sutro-sh/jev-align · 项目主页

使用 Jev 和 GEPA 从人类反馈构建校准的 AI Functions。

数据标注与清洗73%次选分类: 评测与基准

这是什么

jev-align 是 Sutro 的实验性 CLI,用于使用 TypeSafe 的 Jev 构建 AI Functions。它找出不确定的示例,请你标注,并使用 GEPA 改进函数。

它怎么用 Jev

Jev 评估数据集行并测量不确定性。它选择模糊行加上随机审计样本进行标注。累积的标签和可选理由用于运行 GEPA,GEPA 提出改进的定义。

用到的原语:choicescore

值得抄的做法

使用不确定性采样选择模糊行进行人工标注,然后用 GEPA 优化。

怎么试

uv tool install jev-align;导出 TYPESAFE_API_KEY 和 OPENAI_API_KEY;运行 jeva

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.88
  • 有 System One 用法0.70
  • 处理了不确定性0.79
  • 有实测数据0.06
  • 可直接跑0.96
  • 值得推荐未判定0.48
  • 是模型的复刻0.05
  • 问题普遍性按 0–2 打分1.19
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。