Jev 深度解析：不写一个字，却让 Agent 决策快 200 倍、便宜 400 倍

TypeSafe AI 的 System One 模型，正在补上 Agent 最贵的那一环。

如果你正在做 AI Agent，大概率遇到过这种别扭事：一个简单判断，比如“这封邮件该转给售后还是技术”“这个工具调用要不要拦一下”，也要完整跑一次 LLM。贵，慢，输出还得解析。TypeSafe AI 的 Jev 就是冲着这个环节来的。

一、Jev 到底是什么

先说结论：Jev 不是语言模型。它不生成文本，不聊天，不写代码。它做的事只有一件：拿一个状态，回答一组带类型的问题，然后返回校准过的概率。

TypeSafe AI 把这叫 System One 模型。名字来自双过程认知理论：快、自动、模式匹配的决策，而不是慢速、审慎的推理。

传统 LLM 的流程是：你给 prompt，它生成 response。Jev 的流程是：你给 state 和 questions，它给概率。

问题有三种类型：

• Choice：从一组选项里选。返回每个选项的概率，以及整体置信度。
• Score：按有序等级给输入打分，比如 low、medium、high。返回连续分数、底层分布和置信度。
• Noul：回答是或否。返回某个陈述为真的概率。

同一个状态可以一次问多个问题。Jev 会并行评估，加问题几乎不影响响应时间，成本也只多出问题本身的 token，而 token 很便宜。

看个客服工单的例子。你把这段话发给 Jev：

Hi, I've been trying to connect my Stripe account for 3 days and it keeps failing. I'm losing sales. Please help ASAP.

然后问一句：这条工单紧急吗？

Jev 返回概率 0.999。你的应用直接拿这个数字做优先级，不需要解析，不需要 schema 校验。

二、为什么现在需要 Jev：Agent 小决策的成本黑洞

今天大多数 Agent 跑的是一个简单循环：LLM 决定做什么，工具执行，模型看结果，再决定下一步，直到任务完成。

Tool calling 和结构化输出让这个循环能跑起来，但没让它变高效。每次决策，不管多小，都要烧一次完整模型调用。

痛点很清楚：

• 路由一个工单，要调 LLM。
• 判断工具调用有没有风险，要调 LLM。
• 给输出打个分，要调 LLM。
• 模型返回文本，你还要解析、校验、处理格式错误。
• 高并发场景下，延迟和成本一起爆炸。

TypeSafe AI 给出的数据是：在分类任务上，Jev 比同类 LLM 快最多 200 倍，成本低最多 400 倍。

内部峰值测试更具体：

• 比前沿模型快 193.6 倍。
• 比前沿模型便宜 444.6 倍。
• 每次决策成本约 $0.0004。
• 输入价格 $0.042 / 百万 token。
• 输出 token 免费，因为 Jev 不生成输出 token。
• 延迟窗口 70 到 500 毫秒。

作为对比，gpt-4o-mini 的输入 token 价格大约是 gpt-4o 的 1/30。Jev 把这个比例又拉到了另一个数量级。

有开发者拿 Jev 和 Gemini 做业务邮件分类，反馈是：更便宜，而且比用聊天模型做同样的事更稳。

70 到 500 毫秒这个延迟，已经足够塞进同步 Agent 循环，不会变成瓶颈。

三、Jev 在 Agent 栈里的位置

Jev 不是替代你的主 LLM。它是补充。

TypeSafe AI 和集成方推的模式很直接：LLM 负责开放式推理和生成，Jev 负责沿途的快速结构化决策。

LangChain 的集成暴露了一个 TypeSafeClassifier。你把 state 和 questions 传给 .invoke()，拿回来的是分类结果，不是聊天回复。state 可以是文本、结构化数据，或者 LangChain messages。这意味着你可以在节点或 middleware hook 里，用 Agent 已有的上下文直接调用 Jev。

SitePoint 发过一篇很细的教程，讲怎么用 Jev 和 LangChain 搭一个“AI agent harness”。教程里明确把 Jev 放进两个决策点：

• Request Router：判断请求复杂度，选择模型档位。简单 FAQ 查一下，走便宜模型；复杂多步操作，走更强模型。
• Tool Gate：工具调用执行前，先过风险策略。delete_user_account 这种调用要人工审批，search_faq 这种直接放行。

这两个决策点都是 Pydantic 类型的节点，输出结构化、带类型、可审计。Harness 没有剥夺 Agent 的自主性，只是把以前隐式藏在 prompt 里的决策，变成了显式检查点。

Vercel 的集成同样直接。Jev 以 typesafe-ai/jev 挂在 Vercel AI Gateway 上，可以像其他 gateway model 一样调用。AI SDK 7 通过一个专门的 experimental_evaluate 函数暴露 Jev，故意和 SDK 的文本生成函数分开。信号很清楚：带类型的决策，和自由文本生成，在结构上不是一回事，不是“文本生成加个格式约束”那么简单。

四、评估场景：Jev as a Judge

开发者社区里一个很有意思的用法，是拿 Jev 当 Agent 评估器。

LangChain 做过一个“Jev-as-a-Judge”实验，测试它给 Agent 输出打分的表现。关键结论是：Jev 直接返回带类型的答案，而不是生成一段文本。这就省掉了 LLM-as-judge 里最烦人的解析和 schema 校验。

这件事为什么重要？因为 Agent 评估市场现在很乱。

VentureBeat 调查了 157 家企业，一半企业遇到过这种情况：Agent 通过了内部评估，然后在客户面前翻车。今天只有 5% 的企业完全信任自动评估。最常被提到的限制是：评估结果和真实世界结果对不齐。三分之二的组织正在转向只靠自动评估来把关生产发布。

Jev 解决不了对齐问题。但它能解决一个结构性问题：当评估器返回的是概率，而不是一段话，你就可以程序化地设阈值、按置信度路由。不需要再找个模型去解释第一个模型的输出。

五、目标用户与目标市场

Jev 的主力用户是 Agent 开发者和平台工程师，尤其是那些在跑生产 AI 系统的人。

谁最痛？高并发 Agent 工作负载的团队：

• 客服路由。
• 内容审核初筛。
• 浏览器自动化。
• 编码 harness，一个任务里做几十个微决策。

市场数据也不差：

• Agentic AI 开发者生态和 SDK 市场，2026 年约 50 亿美元，预计 2034 年到 562 亿美元，CAGR 35.3%。
• AI 评估和可观测平台市场，2025 年约 12 亿美元，预计 2032 年到 26 亿美元，CAGR 11.5%。

TypeSafe AI 没有和 OpenAI、Anthropic 正面打。它在做一个旁边的原语。

创始人 Diogo Almeida 是 OpenAI RLHF 研究的关键贡献者，也是 ChatGPT 背后一些方法的共同发明人之一。 stealth 两年后，他的判断是：聊天模型漏掉了软件做决策的一些根本东西。Jev 就是答案：决策，不是字符串。

护城河不只是模型架构，而是训练方法。TypeSafe AI 搞了一个叫 RLCD 的技术，Reinforcement Learning for Calibrated Decisions。它训练模型输出校准良好的概率，而不只是正确答案。

一个模型说“99.9% 紧急”，如果消息真的紧急，那有用。如果消息其实很常规，它还说“99.9% 紧急”，那就没用。校准才是难的部分，也是这家公司研究重点所在。

六、Jev 不做什么

Jev 不会传统意义上的幻觉，因为输出值是你预定义的。它不能发明你 schema 里不存在的类别。

这对分类和路由是好事。对开放式生成、创意任务、需要合成新文本的场景，就是限制。

它也不替代 Agent 里的主 LLM。Agent 仍然需要一个能推理、能生成代码、能写回复、能处理模糊性的模型。Jev 处理的是那些锐利边缘：二元决策、路由选择、风险门控、置信度评分。

定价也反映了这个定位。$0.042 / 百万输入 token，输出免费。它就是为高频调用设计的。它应该被频繁调用、并行调用，去处理那些本来会吃掉前沿模型容量的小决策。

七、实际案例

案例一：客服工单路由

一条用户消息进来，Jev 判断紧急概率 0.999。应用直接把它排到高优先级队列。不需要额外的 LLM 调用，不需要解析自然语言输出。

案例二：工具门控

Agent 准备调用 delete_user_account。Jev 根据风险策略判断，这个调用需要审批。如果换成 search_faq，Jev 判断低风险，直接放行。

案例三：浏览器自动化

Browser Use 做了一个 Jev 驱动的 Agent，叫 jev-ultrafast。循环是这样的：

• 浏览器读取页面。
• LLM 理解页面，生成候选动作。
• Jev 选择动作。
• 浏览器执行。

LLM 负责页面理解和动作生成。Jev 负责选择：哪个候选动作最可能推进任务？这个决策快、便宜、带类型。概率还给 Agent 一个置信信号，决定是继续，还是回退到更贵的模型。

案例四：广告分析

社区里有个开发者用 Jev 在 40 秒内分析了 724 条实时广告。任务是分类和评分，不是生成。同样的输出，LLM 会更慢、更贵。

八、真正的看点

Jev 在开发者圈子的热度是真的。它上过 Hacker News 热榜，几天内 GitHub 上就冒出多个社区整理的资源列表，Forbes、VentureBeat 和各大 AI newsletter 都报了。

但长期问题在于：System One 模型会成为 Agent 栈的标准层，还是只停留在分类密集型工作负载的利基工具？

答案取决于采用速度。LangChain、Vercel、Netlify 都已经以某种形式集成了 Jev。集成路径有文档，摩擦低。定价激进。性能数据虽然是厂商口径，但在独立测试里方向一致。

Jev 证明了一件事：不是每个 AI 决策都需要生成模型。

有些决策是路由。有些是门控。有些是评分。这些决策应该快、便宜、可审计、带类型。Jev 是第一个认真做这个原语的尝试。它成为默认，还是被更大的平台吸收，都不重要。它解决的问题是真的。