线性注意力 · 文章

面向 Qwen 系列模型线性注意力的高性能优化实践

自 Qwen-3.5 采用混合注意力结构以来，Qwen 系列模型的线性注意力层 GDN 在训练与推理中的开销日益显著。基于 TileLang 的高性能线性注意力算子库 FlashQLA 显著优化了预训练与端侧推理效率，本文为其背后的技术实践揭秘。