jevbooks

← 全部项目

cu-Jev

dtunai/cu-Jev · 项目主页

CUDA原生的Jev System One决策引擎,兼容Jev API。

这是什么

cu-Jev是一个CUDA原生的推理引擎,将Qwen3.5检查点转换为决策函数。它提供兼容Jev的API,用于发送状态和类型化问题,返回概率和置信度。面向需要快速、GPU驻留决策推理的开发者。

它怎么用 Jev

cu-Jev实现了Jev System One API:它接受一个状态和类型化问题(noul、choice、score),运行一次状态,然后将每个问题作为短分支评估,关注状态的KV缓存。它读取选项标签的logits以产生校准的概率和置信度,并在响应中返回。

用到的原语:choicescorenoul

值得抄的做法

共享状态与隔离分支:状态的KV缓存和循环状态计算一次,并以只读方式在所有问题间重用。

怎么试

uv run cujev serve --model models/Qwen3.5-4B --port 8080

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.95
  • 有 System One 用法0.73
  • 处理了不确定性0.04
  • 有实测数据0.09
  • 可直接跑0.89
  • 值得推荐未判定0.40
  • 是模型的复刻0.92
  • 问题普遍性按 0–2 打分0.99
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月23日 读 README 写成。