FSDP规模化受通信交叉点和批大小双重限制，超过交叉点后训练效率急剧下降

“随着GPU增多，计算时间缩短而通信时间不变，会达到一个计算与通信时间相等的“交叉点”，超过此点后训练效率将急剧下降。”

算力供应年增3倍的增长已接近极限，AI对尖端晶圆的占用比例到2027年底将饱和，产能难以快速扩张。

“当前算力年3倍的供应增长（来自摩尔定律、新晶圆厂建设、AI抢占晶圆份额）本身已接近极限。其中，AI对尖端晶圆的占用比例预计在2027年底将达到饱和，进一步扩张产能困难。”

创始人指出过去三年半方向正确但资本需求呈垂直增长，前沿模型训练面临资本与物理资源的双重天花板，曾因6周窗口期内未能筹到20亿美元而错失4万卡GB300集群。

“去年底，他们曾有一个6周窗口期需筹集20亿美元购买即将上线的4万卡GB300集群，但未能及时完成，从而失去了该集群。”