jevbooks

← 全部项目

jevscape

Skyvern-AI/jevscape

为 TypeSafe 的 Jev 打造的 RuneBench 测试框架,用于玩 RuneScape。

游戏与模拟35%次选分类: 评测与基准一个 state 多题平铺

这是什么

一个 RuneBench 分支,让 TypeSafe 的非生成式模型 Jev 通过基于 rs-sdk 构建的有界动作目录玩 RuneScape。它记录 tick 级结果,并为开发者和基准测试者提供实时仪表盘。

它怎么用 Jev

Jev 用校准概率回答类型化问题(choice、noul、score)。在 tick 模式下,每次轮询询问 next_action(当前或其他目录动作)和 this_tick(do_nothing、close_dialog、eat_food、restart_current)。Jev 还回答 poll_again_in_ticks。代码执行所选动作并报告游戏状态。

用到的原语:choicenoulscore

值得抄的做法

有界动作目录配合 tick 模式轮询;Jev 决策,代码执行。

怎么试

运行 agents/jev/live-stack.sh up ../rs-sdk --skill Fishing --minutes 30 --policy jev --bot skyvern --speed 1 --xprate 1 --mode tick --poll-every 3

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.94
  • 有 System One 用法未判定0.49
  • 处理了不确定性0.06
  • 有实测数据0.08
  • 可直接跑0.20
  • 值得推荐未判定0.40
  • 是模型的复刻0.04
  • 问题普遍性按 0–2 打分0.70
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。