训练中自己生成的 Rollout,模型还能学到什么?小红书 AllSpark 提出 ROSS
从自己生成的经验中学习,已成为大语言模型后训练的重要方式。 强化学习与 on-policy 蒸馏都依赖模型在训练中生成的 rollout。
科技与互联网按主题浏览来自不同作者的公开文章。标签由 AI 生成,仅供分类参考。
共 965 篇文章
从新到旧
从自己生成的经验中学习,已成为大语言模型后训练的重要方式。 强化学习与 on-policy 蒸馏都依赖模型在训练中生成的 rollout。
科技与互联网MiniMax 10 月 19 日发布了新的 Flash 模型,价格和 DeepSeek 非高峰时段一样,独立评测给了 42 分。同一份评测发现,它遇到不会的题,绝大多数时候会编一个答案,很少承认不知道。
科技与互联网即便算力期货仍处于监管延审阶段,算力可被期货化定价这件事,也已经把一个现实问题推到中国企业面前——当算力租金像油价那样剧烈波动,谁来替AI企业兜住成本风险。
商业与财经MiniMax 发布 M3.1 Flash 模型,Agent 任务综合使用成本降低 70%。
科技与互联网