jev-eval-agent

这是什么

一个用 eve (Vercel) 构建、通过 OpenRouter 提供的个人助理智能体，包含 100 个模拟工具。它用于衡量当 LLM 自行选择工具与由 Jev 选择工具时，智能体完成任务所需的步骤数差异。

它怎么用 Jev

在 jev-classifier 模式下，Jev 在每个模型步骤前被调用，状态为 { user_request, actions_taken[], assistant_said[] }。它回答 next_tool（在 100 个工具 + respond_to_user 上的 choice）和 done（noul）。若选择了 respond_to_user 但 done 低于 JEV_DONE_THRESHOLD，路由器会阻止回复并暴露次优工具。

用到的原语:choicenoul

值得抄的做法

置信度门控路由：用 noul 的 'done' 检查门控 choice 的 respond_to_user，回退到次优工具。

怎么试

cp .env.example .env.local，填入密钥，npm install，然后 npm run eval 或 AGENT_MODE=jev-classifier npm run eval。

去 GitHub 看