jevbooks

Jev 实战该问它什么,什么留在代码里

别拿大模型
做是非题。

你把 state 和带类型的问题发给 Jev,拿回判断和概率。下一步怎么做,由你的代码决定。

2026年11月4日 ▪ 哪些判断能交给 Jev?

Enter ↵ · Shift+Enter 换行

这页上的每个数字都是 Jev 自己给的;方案文字来自大模型,会单独标注。

01一次请求长什么样

一叠卡片(state 和三道带类型的问题)进一台粉色方块机器(Jev),出来三根空心条(三个数),图章(你的代码)拍板
state · 问题Jev · 约 300 毫秒你的代码拍板
state {task, observation}Q1 noul 做完了吗?Q2 choice 哪个信号?Q3 score 走到哪一步?Jev · 约 300 毫秒0.98blocked 0.881.97 / 4if (p > 0.7) stop() ← 你的代码
state {task, observation}Q1 noul 做完了吗?Q2 choice 哪个信号?Q3 score 走到哪一步?Jev · 约 300 毫秒0.98blocked 0.881.97 / 4if (p > 0.7) stop() ← 你的代码
一次请求:一份 state 加三道带类型的问题进去,三个数字出来,拍板的是你的代码。

02一道现场题

改一句话,看数字动。

Jev 吉祥物:粉方块是 Jev,举着打勾的卡片,三只表盘是它给出的三个数
▪ task_done · noul · 现场

一道现场的 Jev 题。任务固定;改一改 observation(观察到的结果),Jev 会重新回答 task_done(noul,即 P(是)),约 300 毫秒。

task今晚 7 点订一张两人的桌。

Jev 只认字面——讽刺和空喊「搞定」归你的代码管:加一道题,或在 state 里要求细节

task_done—

我们发给 Jev 的题
{
  "state": {
    "task": "今晚 7 点订一张两人的桌。",
    "observation": "预订已确认——2 位,19:00,12 号桌。"
  },
  "questions": {
    "task_done": {
      "type": "noul",
      "instructions": {
        "what": "Does `observation` confirm that the goal in `task` was achieved?",
        "not_for": "Partial progress, a different time or party size, or a promise to book later."
      },
      "criteria": {
        "true": "The observation confirms the task exactly as stated.",
        "false": "It does not confirm the task as stated."
      }
    }
  }
}

0 = 否 · 1 = 是 · 0.5 是「分不清」,不是「中等」

自己跑:key 在 console.typesafe.ai/keys · 输入每百万 token $0.042,输出免费 · 这道题 … token ≈ $… · 直接 fetch,不需要 SDK

还没发布可靠性图——这页的每个数字都是现场跑的,没挑过

03三种问法

noul

observation 能确认 task 里的目标达成了吗?

「预订已确认——2 位,19:00,12 号桌。」

00.5 分不清10.98 = 是
00.5 分不清10.98 = 是
一道题一个数:0.98 = 是;0.5 是「分不清」,不是「中等」。

choice

「19:00 显示没位,19:30 可选」

goal_met0.00subgoal_met0.12blocked0.88other0.00
goal_met0.00subgoal_met0.12blocked0.88other0.00
Jev 选 blocked(0.88),对这个选择的把握 0.84;other 是出口,选项列错了也不会被迫选错。

score

0.0600.1410.6020.1730.0341.97 / 4
0.0600.1410.6020.1730.0341.97 / 4
  1. 0 什么都没做
  2. 1 开始了
  3. 2 确认完成一个子目标
  4. 3 就差最后一步
  5. 4 全部确认完成
每一级是一个具体情形,不是形容词;分数是概率加权平均。