未分类
按主要论述浏览文章，分类与主题标签由 AI 生成，仅供参考。
共 42882 篇文章
从新到旧
直播预告！聊聊 RL-Kernel ，大模型 RL 后训练中的训推一致性实践
模型 RL 后训练中，Rollout 与 Training 往往由不同引擎执行。即使模型、权重和 token 完全相同，仍可能因浮点归约顺序、并行分片、通信合并树及精度转换边界不同，产生 LogP 偏差，进而影响 PPO/GRPO 的 importance ratio、clipping 与训练稳定性。
未分类按主要论述浏览文章，分类与主题标签由 AI 生成，仅供参考。
共 42882 篇文章
从新到旧
模型 RL 后训练中，Rollout 与 Training 往往由不同引擎执行。即使模型、权重和 token 完全相同，仍可能因浮点归约顺序、并行分片、通信合并树及精度转换边界不同，产生 LogP 偏差，进而影响 PPO/GRPO 的 importance ratio、clipping 与训练稳定性。
未分类