这是什么
一个 RuneBench 分支,让 TypeSafe 的非生成式模型 Jev 通过基于 rs-sdk 构建的有界动作目录玩 RuneScape。它记录 tick 级结果,并为开发者和基准测试者提供实时仪表盘。
它怎么用 Jev
Jev 用校准概率回答类型化问题(choice、noul、score)。在 tick 模式下,每次轮询询问 next_action(当前或其他目录动作)和 this_tick(do_nothing、close_dialog、eat_food、restart_current)。Jev 还回答 poll_again_in_ticks。代码执行所选动作并报告游戏状态。
用到的原语:choicenoulscore
值得抄的做法
有界动作目录配合 tick 模式轮询;Jev 决策,代码执行。
怎么试
运行 agents/jev/live-stack.sh up ../rs-sdk --skill Fishing --minutes 30 --policy jev --bot skyvern --speed 1 --xprate 1 --mode tick --poll-every 3
证据
每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。
- Jev 是主角是0.94
- 有 System One 用法未判定0.49
- 处理了不确定性否0.06
- 有实测数据否0.08
- 可直接跑否0.20
- 值得推荐未判定0.40
- 是模型的复刻否0.04
- 问题普遍性按 0–2 打分0.70
- 与 Jev 相关是0.98
信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。