jevbooks

← 全部项目

jev-spam-eval

bitnovus/jev-spam-eval

使用 Jev Noul 问题进行零样本垃圾邮件过滤,并与 TF-IDF 基线对比。

分类与路由65%次选分类: 内容审核

这是什么

探索 TypeSafe 预训练 Jev 模型的零样本邮件分类,在 main、fresh 和 recent phishing 数据集上将 ham/spam/phishing 判断与 TF-IDF 逻辑回归基线进行对比。

它怎么用 Jev

Jev 回答一个 Choice 问题,从三类(正常邮件、垃圾邮件、钓鱼邮件)中选择一类;返回的标签和概率分布由代码直接使用。增强状态加入 Reply-To、链接目标和附件元数据。

用到的原语:choice

值得抄的做法

在问题和类别定义不变的前提下,保留相关邮件上下文(链接目标、Reply-To、附件元数据)。

怎么试

使用 API key 运行 experiments/jev-context/evaluate.py;详见 REPORT.md。

去 GitHub 看

Jev 判的jev-1.13.0

证据

每一行都是就 README 问 Jev 的一道题。≥ 0.60 算「是」,≤ 0.40 算「否」,中间这一段 Jev 不下判断。

  • Jev 是主角0.89
  • 有 System One 用法0.17
  • 处理了不确定性0.06
  • 有实测数据0.94
  • 可直接跑0.19
  • 值得推荐未判定0.56
  • 是模型的复刻0.06
  • 问题普遍性按 0–2 打分1.90
  • 与 Jev 相关0.98

信号由 Jev jev-1.13.0 判定,简介由 DeepSeek V4.1 Flash 于 2026年9月20日 读 README 写成。