gpu优化 · 文章

提速不降智，小红书DoSA将首token延迟无损减少近一半

百万 token 输入，首字还要等多久？小红书 DoSA 保持原始评分函数下的精确 Top-K，在三款模型上将首字等待缩短约 37%～48%。