jev-vs-llms — 对比 Jev、廉价 LLM 与前沿 LLM 的基准测试框架。

README 自动摘要

根据 README 自动整理于 2026年10月21日，不是本站运行记录。运行步骤和作者声称的效果仍需核验。

这是什么

一个 Python 基准测试框架，在同一任务、数据和输入上对比 Typesafe 的 Jev、廉价 LLM 与前沿 LLM，衡量质量、校准、成本、延迟、一致性和鲁棒性，模拟 Jev 优先的级联，并生成 HTML 报告。

Jev 是每个运行配置中的一个 arm（kind: jev，model: jev-1.15.0）。框架向每个 arm 发送相同的任务指令和输入，存储原始预测，并通过 metrics、cascade 和 report 进行比较。README 未说明 Jev 接收哪些类型化问题。

Jev 优先级联：先运行 Jev，仅将不确定的样本交给后备 LLM，基于已存储的预测进行模拟。

uv sync；source .env；uv run jev-eval prepare clinc150；uv run jev-eval run configs/smoke.yaml

README 片段的模型判断

项目信号使用仓库元信息、已有摘要与 README 前 700 个字符；没有通读完整项目。“未检出”仅表示这些材料中未检出，并不证明项目没有该能力。这里保留原始判断与实际记录的模型、日期，不是源码审计或运行验收。

这些信号只读取仓库元信息、已有摘要与清理后的 README 前 700 字符。≥ 0.60 表示片段中有提及，≤ 0.40 表示未检出，中间为未判定；都不是源码审查或运行结果。「可运行工具」题排除了研究实验，「推荐」题筛的是学习案例 Top 10，不是内容质量合格与否。

信号

无判定区（0.40–0.60）

设计模式

无判定区（0.40–0.60）

各阶段的 Jev 模型与判定日期见上方记录。简介由 DeepSeek V4.1 Flash 于 2026年10月21日读 README 写成。