随着大模型API商业化进入深水区，焦点转向通过推测解码、量化等优化在单卡或有限硬件上实现高吞吐、低成本的本地化部署

“社区关注的焦点集中在如何通过推测解码、量化等基础设施优化，在单卡或有限硬件上实现高吞吐、低成本的本地化部署。”

批处理规模是决定推理成本与延迟的最大变量，最优批大小约等于300乘以模型稀疏度，与模型绝对规模无关。

“若不进行批处理，单用户推理的经济性会比批处理差约千倍；而批处理大小的最优值约等于300乘以模型稀疏度，与模型绝对规模无关，实践中通常取该值的2-3倍。”