导语
本期《十字路口》邀请到了生数科技的张金涛，他是Vidu S1实时交互视频生成模型的核心负责人。Vidu S1允许用户上传一张图片并选择声音，即可像视频通话一样与该角色进行无限时长的实时语音交互，模型会根据语音指令实时生成角色的表情、动作和肢体语言。张金涛在访谈中深入浅出地剖析了实现这一效果背后的技术挑战，从底层的推理加速算子到上层的模型与集群优化，揭示了如何让视频生成“快到世界能实时生成”。他还分享了对中美视频生成技术差异的观察、AI创业的思考，以及作为团队负责人的管理哲学。
生数科技张金涛：Vidu S1如何实现无限长实时交互视频生成
本期访谈中，生数科技张金涛分享了其团队最新发布的Vidu S1实时交互视频生成模型。该模型通过全链路优化，实现了540P/25帧的实时生成与无限长交互，用户可通过语音实时控制虚拟角色。张金涛详细阐述了从底层算子加速（CelerAttention）到模型复杂度压缩（Turbo Diffusion），再到集群调度优化的技术路径，并探讨了推理加速的未来方向、中国视频生成领域的数据优势，以及AI创业与团队管理的心得。
大纲与深读 8 章
展开「深读」看每一段讨论的问题与论据。
01
嘉宾背景与Vidu S1简介
- 嘉宾张金涛，26岁，水瓶座INTJ，来自生数科技。
- 负责Vidu S1实时交互视频生成模型及全链路工作。
- Vidu S1通过语音实时控制角色表情动作，实现540P、25帧的无限长视频交互。
深读这一段
讨论的问题：Vidu S1模型是什么？它有什么核心功能？
论据 / 案例：Vidu S1是实时交互视频生成模型，支持540P分辨率与25帧实时生成，支持长时间流畅对话交互。
02
从算子加速到流式生成
03:00- 推理加速是支撑流式视频生成的核心，历经算子、模型、工程三个阶段优化。
- CAttention是首个用GPU更快计算单元加速Attention的算子，成为行业标准。
- TurboDiffusion通过蒸馏和稀疏化，将开源Diffusion模型推理速度大幅提升。
深读这一段
讨论的问题：从CAttention到Vidu S1，推理加速技术经历了哪些关键阶段？
论据 / 案例：CAttention成为NVIDIA、AMD、华为昇腾等硬件厂商及多模态公司的事实标准；TurboDiffusion获得3600+GitHub Star。
03
Vidu S1技术突破细节
08:20- 实时生成要求帧速超播放速度，核心挑战是保证长时间生成不漂移、不崩坏。
- 在消费级显卡上实现540P、25-42FPS的高质量实时生成。
- 优先保证生成效率，画质是当前阶段为保证速度可适当妥协的方面。
深读这一段
讨论的问题：实现高质量流式视频生成的核心技术挑战与Trade-off是什么？
论据 / 案例：目前基础模型最长只能生成30秒视频，而Vidu S1可实现无限长生成。
04
实时交互视频的未来价值
11:40- 在线实时交互的视觉娱乐需求远大于离线预制视频，每人需要独立生成的视觉信号。
- Vidu S1展示了用宠物照片聊天、游戏陪玩、程序员鼓励师等创新用例。
- 实时交互视频生成是未来视觉娱乐被AI内容替代的必然趋势。
深读这一段
讨论的问题：实时交互视频生成的未来应用场景和市场需求有多大？
论据 / 案例：用户案例：上传宠物照片与AI小狗聊天；右侧1/4屏幕显示二次元角色陪玩游戏。
05
推理加速的未来路径
15:00- 推理加速包含底层算子优化和上层算法降复杂度两个维度。
- 未来硬件将走向通用高性能芯片或针对特定模型族的定制芯片。
- 算法层面需持续降低模型计算复杂度，实现更高效的推理。
深读这一段
讨论的问题：推理加速技术的未来发展方向和核心突破点在哪里？
论据 / 案例：提及硬件定制思路：根据模型是Memory-bound还是Compute-bound，调整芯片架构。
06
中美AI视频生成差异
17:30- 建模方式已相对收敛，高质量、可学习的数据成为核心竞争力。
- 国内对视频生成的视觉娱乐要求更严格，且积累了更充分的数据。
- 中国公司在数据质量、偏好对齐与构造方式上具有优势。
深读这一段
讨论的问题：为什么中国在AI视频生成领域形成了显著优势？
论据 / 案例：类比：好的数据像优秀的科学讲解，10分钟顶看差博客3小时。
07
AI创业热潮与管理哲学
20:00- AI方向正确且需求巨大，创业热潮合理且能持续，非一家公司能做完。
- 创业需要技术、管理、判断力等综合能力，并非所有技术大牛都适合。
- 让团队开心工作并追求世界领先，需敏锐了解成员需求并树立威信。
深读这一段
讨论的问题：如何看待当前教授/PhD的AI创业热潮？如何管理团队追求卓越？
论据 / 案例：引用朱军老师观点：把每个环节都做到极致就能实现世界领先。
08
个人成长与科研感悟
23:20- 享受将复杂问题凝练并清晰表达的过程，认为写作与逻辑体现思维深度。
- 在朱军老师指导下完成CAttention等工作，享受解决实际问题的快乐。
- 认可朱军老师的前瞻性指导、高效管理及充足的计算资源支持。
深读这一段
讨论的问题：个人成长经历中，哪些因素塑造了当前的研究与管理风格？
论据 / 案例：CAttention实现后，替换一行代码即让视频生成推理速度直接快一倍多。
金句
- ""推理加速不仅仅是让算子在硬件上跑得快，更重要的是降低模型本身的计算复杂度。""
- ""实时视频生成的生成速度必须大于播放速度，这是一个比离线生成更复杂且应用范式完全不同的任务。""
- ""未来所有的视觉娱乐信号都会被AI生成的内容充斥掉，这是势不可挡的趋势。""
- ""一个好的讲解方式，10分钟能顶别人3小时。数据质量与可学习性，在当下比模型架构更本质。""
- ""我不需要谦虚地说，我觉得我很适合创业。我知道什么人是好人才，怎么让大家开心地工作，并做出世界上最领先的东西。""