导语
随着前沿大模型成本持续攀升，以及像Kimi K3、Qwen3.8-Max这类开源权重模型能力的快速增强，模型路由已成为企业AI部署中的核心环节。Glean，这家由前谷歌杰出工程师Arvind Jain联合创立、专注于企业级AI的公司，正通过其智能模型选择系统，帮助组织在享受顶级AI能力的同时，有效控制成本。Jain在访谈中深入剖析了模型路由的商业逻辑、技术实现，以及开源模型如何重塑企业AI战略。
企业AI成本飙升，模型路由成关键破局点
Glean CEO Arvind Jain阐述了模型路由如何成为企业控制AI成本的关键。他指出，前沿模型成本飙升与开源模型的兴起，促使企业寻求更智能的任务分配策略。Glean通过构建一个“元工具箱”，动态选择最合适的模型甚至判断是否需要LLM，并利用大规模用户反馈循环和内部评估系统来优化路由，旨在为企业打造一个高效、经济、统一的AI工作平台。
大纲与深读 8 章
展开「深读」看每一段讨论的问题与论据。
01
Glean公司背景与ARR增长
- Glean由前谷歌杰出工程师Arvind Jain联合创立，专注于为企业部署AI。
- 公司在2025年6月完成1.5亿美元F轮融资，估值72亿美元。
- 2026年ARR达到3亿美元，较15个月前增长三倍。
深读这一段
讨论的问题：Glean公司取得快速增长和高估值的核心业务是什么？
论据 / 案例：ARR从约1亿美元增至3亿美元（15个月增长3倍），估值72亿美元，完成1.5亿美元F轮融资。
02
模型路由的定义与三层模式
00:15- 模型路由的核心是为企业任务动态选择最合适的AI模型，避免不必要地使用LLM。
- Glean提供三层模型选择：员工显式选择、管理员限制、自动动态选择。
- 自动模式因成本控制原因，成为大多数企业客户的首选。
深读这一段
讨论的问题：Glean如何定义和实现模型路由？
论据 / 案例：Glean提供三种模型选择级别；Glean联合创始人Tony Gentilcore声称其系统比Claude Code“成本效益高4倍”，平均每任务成本0.45美元（对比Claude的1.84美元）。
03
企业AI成本飙升驱动需求
00:55- 前沿模型（如Opus、最新GPT）在每token成本和可运行任务复杂度上大幅提升。
- 企业用户的单用户AI支出较去年可能增长10-20倍，成本控制成为迫切需求。
- 模型路由和开源模型的应用是控制企业AI成本的关键手段。
深读这一段
讨论的问题：为什么企业对模型路由的需求急剧增加？
论据 / 案例：Jain指出，最新模型的每token成本是前代模型的两到四倍，且用户执行的任务更长，导致单用户成本激增。
04
规模化人类反馈循环
01:35- Glean的部署使其能观察到企业用户广泛使用AI的真实情况，包括任务类型和模型选择偏好。
- Zillow和Booking.com等客户实现了全公司范围的高采用率（Zillow 80%/7000员工）。
- 用户在不满意时升级模型的行为数据，为优化路由系统提供了宝贵的反馈循环。
深读这一段
讨论的问题：Glean如何利用其用户规模优势来改进AI系统？
论据 / 案例：Zillow报告在7000名员工中达到80%的采用率；Booking.com称Glean是其首个全公司采用的AI平台。
05
Waldo模型与前置处理架构
02:25- Waldo是Glean的首个智能搜索模型，位于LLM之上，负责分解问题、选择工具并收集“原始材料”。
- Waldo能将延迟降低50%，减少25%的token消耗，从而将昂贵的高级模型保留给需要它们的工作。
- 一个拥有更好上下文的廉价模型，可能胜过一个被无关数据淹没的前沿模型。
深读这一段
讨论的问题：Glean的Waldo模型在架构中扮演什么角色，如何优化成本与性能？
论据 / 案例：Waldo“将延迟降低50%，token使用减少25%”，通过在调用前沿模型前完成信息组装来节省成本。
06
开源模型在企业中的崛起
03:05- 过去一年，企业对开源模型的兴趣从微不足道到显著增长，主要因成本考量。
- 过去三个月，由于AI成本过高，企业开始认为维持现有AI投资难以为继，开源模型便宜一个数量级。
- 企业不再愿意依赖单一模型提供商，开源模型已成为AI战略的关键组成部分。
深读这一段
讨论的问题：开源模型在企业AI战略中的地位发生了什么变化？
论据 / 案例：Jain表示，去年开源LLM使用量“微乎其微”，但最近三个月，因成本问题，“大多数企业都在考虑将开源模型作为其AI战略的关键部分”。
07
评估体系与持续学习
03:45- Glean拥有内部测试系统，将真实工作负载与不同成本和能力的替代模型进行并行比较。
- 使用“AI评委”来评估模型路由器的决策质量，形成持续学习循环。
- 该评估仅对一小部分真实流量进行，但凭借Glean的规模已足以持续优化路由系统。
深读这一段
讨论的问题：Glean如何评估和持续改进其模型路由的效果？
论据 / 案例：Glean使用内部测试系统进行A/B测试，并用“AI评委”评判路由准确性，基于持续学习循环更新模型。
08
从企业搜索到端到端AI平台
04:25- Glean成立于2019年，最初是首批为企业使用Transformer和语言模型的公司之一，专注于企业搜索。
- 到2026年，企业AI已从搜索扩展到成为每位员工工作流的有机组成部分。
- Jain最终将Glean定位为“端到端AI平台”，其深度数据集成是实现有效模型路由的基础。
深读这一段
讨论的问题：Glean的业务定位和产品范围经历了怎样的演变？
论据 / 案例：Glean于2019年成立，最初是“首批为企业使用Transformer和语言模型的玩家”；到2026年，其产品已成为员工的“超集”和“端到端AI平台”。
金句
- ""A big goal of Glean is to avoid using LLMs for tasks where we don’t need them." —— Glean的一个重要目标是避免在不需要的任务上使用大语言模型。"
- ""Why are people talking about model routing? Why are they excited about it? It’s mostly because of cost." —— 为什么人们在谈论模型路由？为什么他们对此感到兴奋？主要是因为成本。"
- ""Nobody is willing anymore to rely on only one model provider, or two, and nobody thinks that they can survive without open source." —— 现在没有人愿意只依赖一两个模型提供商，也没有人认为他们能在没有开源的情况下生存。"
原文链接
↗完整内容见原文：Latent Space · 企业AI成本飙升，模型路由成关键破局点
