大模型 · 文章
按主题浏览来自不同作者的公开文章。标签由 AI 生成,仅供分类参考。
共 474 篇文章
从新到旧
大幅提升高并发下的推理速度!南京大学与华为基模团队提出 AdaFlash,让投机解码在线自我改进
当大模型开始被 Agent 高频调用,推理加速的关键不再只是一次前向传播能生成多少 Token,还包括系统能否在真实流量中持续识别并跳过无效计算。
科技与互联网按主题浏览来自不同作者的公开文章。标签由 AI 生成,仅供分类参考。
共 474 篇文章
从新到旧
当大模型开始被 Agent 高频调用,推理加速的关键不再只是一次前向传播能生成多少 Token,还包括系统能否在真实流量中持续识别并跳过无效计算。
科技与互联网