open-alternative-jev

这是什么

一个 Python 包，通过一次前向传播从任意开放权重 LLM 获得类型化、校准的决策，并在您自己的 GPU 上本地运行。面向希望无需官方 SDK 即可实现 Jev 风格决策的开发者。

它怎么用 Jev

Jev 读取一次状态，并从每个类型化问题（Choice、Score、Noul）自身位置的下一个 token 分布中回答，限制在您给出的选项内。结果是一个带有校准概率的选择，直接在代码中使用。

用到的原语:choicescorenoul

值得抄的做法

打包将共享状态写入一次而非每个问题一次，减少 token 并提升吞吐量。

怎么试

pip install open-alternative-jev，然后使用 Decider.from_pretrained 并设置 backend='hf'。

去 GitHub 看