FSDP规模化受通信交叉点和批大小双重限制，超过交叉点后训练效率急剧下降

“随着GPU增多，计算时间缩短而通信时间不变，会达到一个计算与通信时间相等的“交叉点”，超过此点后训练效率将急剧下降。”

算力供应年增3倍的增长已接近极限，AI对尖端晶圆的占用比例到2027年底将饱和，产能难以快速扩张。

“当前算力年3倍的供应增长（来自摩尔定律、新晶圆厂建设、AI抢占晶圆份额）本身已接近极限。其中，AI对尖端晶圆的占用比例预计在2027年底将达到饱和，进一步扩张产能困难。”

马斯克预测AI算力增长将很快面临电力短缺，并呼吁电力公司大幅扩容以应对能源挑战。

“马斯克预测，AI算力增长将很快面临电力短缺，呼吁电力公司大幅扩容。”

预计到2027年底，AI的主要提升将不再来自发布前的训练，而是来自全球广泛部署中积累的经验，每次与用户交互都会让AI更聪明。

“到2027年底，AI的主要提升可能不再来自发布前的训练，而是来自其在全球广泛部署、处理各类任务时积累的经验。每次与用户交互，AI都会变得更聪明，因为它不仅学习了你的历史，也学习了它与全球其他所有用户的互动。”

马斯克认为人类可能还缺失通向通用人工智能的关键想法，但AGI很快就会降临

“我认为，我们可能缺失了一些通向通用人工智能的关键想法，但它很快就会降临。”