openjev-sglang

这是什么

一个在 SGLang 上用 Qwen3.6-35B-A3B 实现 TypeSafe/Jev HTTP API 的服务器，采用仅 prefill 的单 token 推理。面向希望自托管、兼容 Jev 的 Noul、Choice 和 Score 问题评估端点的开发者。

它怎么用 Jev

Jev 问题（Noul、Choice、Score）随 state 和 questions 发送到 POST /v1/systemone。服务器渲染一次 chat template，用公共前缀预热 SGLang 的 radix cache，然后以 max_new_tokens=1 发送每个问题后缀，读取答案标签的 logprob，并用 softmax 重新归一化。

用到的原语:choicescorenoul

值得抄的做法

仅 prefill 的单 token 读出：以 max_new_tokens=1 请求答案标签的 token_ids_logprob，不做自回归续写。

怎么试

uv sync；uv run modal run modal_app.py，或用 uv run modal deploy modal_app.py 部署公共端点。

去 GitHub 看