大模型推理 · 文章

按主题浏览来自不同作者的公开文章。标签由 AI 生成,仅供分类参考。

更多标签 93

共 4 篇文章

从新到旧

国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术

文中详细给出每一项优化的动机、实现(含具体源码改动路径与关键代码片段)、验证数据与踩坑记录(包括十余项实测无效或负向的尝试),希望为同样在国产算力上做推理优化的团队提供一份可直接复用的工程参考。

第一次使用?查看阅读与订阅指南 →