pytest-jev

这是什么

一个 pytest 插件，通过含义而非精确措辞来测试 LLM 应用输出。它提供 `jev` fixture 用于编写关于文本的语义断言，面向测试 LLM 应用的开发者。

它怎么用 Jev

Jev 评判关于文本的声明：`expect` 批量处理 Noul 声明，`choice` 选择选项，`score` 对有序等级评分。结果是校准概率，插件用阈值据此判定测试通过或失败。

用到的原语:choicescorenoul

值得抄的做法

将关于同一文本的所有声明批量合并为一个 Jev 请求，然后对返回的概率应用普通 Python 阈值。

怎么试

pip install pytest-jev，设置 OPENROUTER_API_KEY 或 TYPESAFE_API_KEY，使用 jev fixture 编写测试，运行 pytest。

去 GitHub 看