jevbooks

← 全部项目

jev-shadow

dreyfus92/jev-shadow

衡量 Jev 的危险判断与 Claude Code 分类器的一致性。

这是什么

一个 Claude Code 插件,在后台对 Claude 提出的每条命令和编辑向 Jev 提出五个危险问题,把概率与内置分类器的决定一起记录,之后报告一致率、过度拒绝、延迟和 token。

它怎么用 Jev

对每个 Bash、Write、Edit、WebFetch 或 MCP 调用,Jev 在脱敏并截断的状态上回答五个类型化危险问题(destructive、exfiltration、remote_code、weakens_security、outside_project)。概率和风险分数被记录为 enforce 模式本会做出的决定;在 enforce 模式下同一路径会在工具运行前打印 ask 或 deny。

用到的原语:choicescore

值得抄的做法

影子模式测量:在无法打印的后台 hook 中运行模型,把其判定与真实分类器的决定并排记录,之后按 tool_use_id 关联。

怎么试

claude plugin marketplace add dreyfus92/jev-shadow; claude plugin install jev-shadow@jev-shadow; jev-shadow mode shadow

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.83
  • 有 System One 用法0.91
  • 处理了不确定性0.07
  • 有实测数据0.10
  • 可直接跑0.82
  • 值得推荐未判定0.53
  • 是模型的复刻0.04
  • 问题普遍性按 0–2 打分1.19
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月23日 读 README 写成。