FSDP规模化受通信交叉点和批大小双重限制，超过交叉点后训练效率急剧下降

“随着GPU增多，计算时间缩短而通信时间不变，会达到一个计算与通信时间相等的“交叉点”，超过此点后训练效率将急剧下降。”

算力供应年增3倍的增长已接近极限，AI对尖端晶圆的占用比例到2027年底将饱和，产能难以快速扩张。

“当前算力年3倍的供应增长（来自摩尔定律、新晶圆厂建设、AI抢占晶圆份额）本身已接近极限。其中，AI对尖端晶圆的占用比例预计在2027年底将达到饱和，进一步扩张产能困难。”

某些数学问题的复杂度会迅速增长，无法靠直接暴力计算解决

“某些数学问题会迅速变得难以通过直接暴力计算来解决。”