jev-router

这是什么

一个基于 LiteLLM 的 OpenAI 兼容 LLM 路由器。客户端发送一个模型 id "jev-router"，路由器为每个请求选择底层服务模型。面向希望在 OpenRouter 等提供商之间自动选择模型的开发者。

它怎么用 Jev

当设置 TYPESAFE_API_KEY 时，JevDecider 从 router.yaml 中符合条件的候选中选择一个模型。它接收请求的最小化摘要：最近消息的角色和截断文本，以及图像/工具信号。所选模型服务该请求；失败时回退到 router.yaml 的 fallback。

用到的原语:choice

值得抄的做法

在决策前按能力（视觉、输出长度、工具）过滤候选，然后让 Jev 在合格集合中选择。

怎么试

pip install "litellm[proxy]" pyyaml；设置 OPENROUTER_API_KEY 和 TYPESAFE_API_KEY；运行 litellm --config config.yaml --port 4000。

去 GitHub 看