字节最新论文意外“背刺”DeepSeek-V4？一文讲透 HISA 如何终结 CSA 的相位敏感性
HISA 是一种加速 indexer 同时，缓解压缩损失的方法。原始版本的特点是 block indexer 的开销，token attention 的效果。这种做法不存在 CSA 压缩 kv cache 带来的相位敏感性问题。
科技与互联网稀疏注意力 · 文章
按主题浏览来自不同作者的公开文章。标签由 AI 生成，仅供分类参考。
共 3 篇文章
从新到旧
提速不降智，小红书DoSA将首token延迟无损减少近一半
百万 token 输入，首字还要等多久？小红书 DoSA 保持原始评分函数下的精确 Top-K，在三款模型上将首字等待缩短约 37%～48%。
科技与互联网