jevbooks

← 全部项目

jev-playground

hegargarcia/jev-playground

在显式状态游戏中将 Jev 与其他模型进行基准对比。

评测与基准96%次选分类: 游戏与模拟

这是什么

一个 Next.js 试验场,在井字棋和四子棋中,将 TypeSafe AI 的 Jev 与 Luna、Haiku、Gemini 和 Astra 进行基准对比,评估其选择已验证合法走子的能力,并对一系列走子的决策质量和一致性打分。

它怎么用 Jev

每个模型回合,服务器将棋盘和所有合法走子作为 Choice 选项提供,选项带有描述性名称、坐标和结果棋盘。Jev 使用原生评估模型在给定动作中做出选择;经过验证的选择驱动下一个状态。

用到的原语:choice

值得抄的做法

将完整状态和所有合法动作作为具名 Choice 选项提供给模型,然后在应用前验证返回的选择。

怎么试

bun install,在 .env.local 中设置 AI_GATEWAY_KEY,bun run dev,打开 localhost:3000/tic-tac-toe。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.32
  • 有 System One 用法0.31
  • 处理了不确定性0.03
  • 有实测数据0.05
  • 可直接跑0.08
  • 值得推荐0.29
  • 是模型的复刻0.07
  • 问题普遍性按 0–2 打分0.75
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。