“软硬兼施”才是大模型胜负手

导语

游凯超，vLLM开源项目核心维护者、Inferact联合创始人兼首席科学家，从清华到伯克利，从算法研究转向系统构建，并主导了vLLM从开源社区到商业公司的转变。本期访谈解析了AI Infra领域的“模型与基础设施协同设计”理念，以及开源社区背后复杂而真实的商业与治理逻辑。

核心观点

• 开源项目生命力依赖“同频共振”：vLLM源于校园科研项目，但其成功离不开时代机遇、核心成员的坚定投入以及最终成立商业公司的战略决策。若缺乏企业化支持，大型开源项目难以长期健康演进。
• 从算法研究转向机器学习系统，是行业趋势：学术评审质量下滑、算法研究“低垂的果实”被摘尽、以及基础设施决定实验成败的体感，共同推动了他从“算法雕刻”转向“系统构建”的必然转身。
• 模型与Infra需“协同设计”：硬件如自然资源，模型似发电机，推理引擎是电网。只有根据硬件特性设计模型结构，才能最大化“发电效率”，否则算法再好也难以落地。
• DeepSeek在Infra上的深厚实力是共识：其算法团队懂系统、系统团队懂算法，在MoE等结构上的探索与推理系统的优化形成了强协同，是其模型高效落地的重要支撑。
• 结构设计“命中”硬件特性事半功倍：RoPE之所以普及，在于其位置编码可独立于Attention内核实现，完美适配Flash Attention等优化，实现了模型结构设计与基础设施的“共振”。
• 开源社区正走向“维护者+用户”两极分化：Coding Agent让代码贡献变得便宜，而维护者精力有限，倾向于自己重写而非审查低质PR，社区协作将更集中于核心维护者与反馈渠道。
• AI基础设施是高度“定制化”服务：Token并非通用电能，每个模型的Token都承载其独特印记，无法互转。这决定了推理引擎需针对特定模型和硬件做深度适配与优化。
• 开源项目商业化前提是“有公司背书”：签署NDA、获取集群资源、协调各公司利益，这些社区无法独立完成的事务，促使vLLM必须成立商业实体方能继续拓展。

金句

• "How much money you earn, I wouldn't be happy if the vLLM project failed." —— 就算赚很多钱，但如果vLLM项目失败了，我也不会开心。
• "As long as it's good software, there will always be people who use it." —— 只要是好的软件，总会有人用。
• "The model can be compared to a generator. The inference engine can liken it to an electrical system." —— 模型好比发电机，推理引擎就像电力系统。

本内容由 AI 根据访谈字幕提炼，观点归嘉宾所有。