大家好，我是PaperAgent，不是Agent！
刚刚，DeepSeek官宣发布并开源DeepSeek-V4.1-Flash-1017，并首次官宣了一项新技术：RLSF（Reinforcement Learning with Self-Feedback）。一个RSI神器，来自字节豆包
这次，自研搜索引擎的 Search & Fetch API 全面开放，$0.75 / 千次——这台引擎每天已经在内部扛数亿次请求。
官方给的口径这只是一次minor update，但reddit社区的反应是：“wtf wow”，“Proceeds to obliterate GLM5.3, Kimi K3 and GPT5.6 Sol”。
11 项基准，全部上涨，更强的分数、更快的完成速度、更短的输出——性能与成本的帕累托改进。
意味着 Agent 跑同一个任务，账单直接变薄
RLSF：自反馈强化学习
本次，官宣推文里最容易被忽略、但最关键的一句原文：Anthropic公开内部代码审查最佳实践
DeepSeek-V4.1-Flash-1017 uses reinforcement learning with self-feedback to improve end-to-end project development — from game creation to 3D modeling.”
要注意的是，RLSF在此前DeepSeek-V4.1-Flash那篇技术报告通篇没有这个词。
也就是说，这是 1017 这次后训练更新新引入的机制，奖励信号具体怎么构造、如何防止自我强化跑偏，官方都还没有披露技术细节。
不过论文里的 RL scaling 曲线可以佐证这条路的潜力：随着 RL 步数累积，DeepSWE、SWE-Bench Pro、Terminal-Bench 全线爬升，且把上下文拉到 1M 后长程任务继续涨。
自反馈强化学习并非 DeepSeek 生造的词，杜塞尔多夫大学团队发表过RLSF（Reinforcement Learning from Self-Feedback）技术论文。
核心要点三条：
奖励来自模型自己：冻结模型采样多条 CoT 推理路径，按每条答案的 token 置信度排序构造偏好对，再用 PPO / DPO 微调——全程不需要人类标注、标准答案或外部奖励模型
一石二鸟：既修复校准（答错时的置信度从 0.993 降到 0.712，不再”迷之自信”），又提升推理（校准较差的 Qwen 2.5 7B 上，GSM8K 准确率 53.7% → 58.6%）
适用边界：对校准差的模型收益最大；但该工作只验证了单轮推理任务，多轮、长程 Agent 场景怎么做自反馈，仍是开放问题
对照来看，DeepSeek 推文只写了self-feedback几个字——是否采用同款置信度奖励、如何在端到端项目开发里构造自反馈信号，只能等后续技术报告揭晓。
落到实际效果，DeepSeek官方也给出了从零造完整项目：3D 建模故宫、网页版赛车游戏、Godot 引擎复刻 Portal 2、以及一个从史前演化到现代的 3D 场景Valley of Ages：
故宫 3D 建模
网页赛车游戏
Godot 复刻 Portal 2
Valley of Ages 3D 场景
写在最后
DeepSeek Harness 需升级到 v0.2.1-rc.1+；Search & Fetch 通过 Harness / Claude Code / Codex 调用，10 月 31 日前免费。
一次minor update，基准全涨、输出更短、价格不变，还顺手把权重 MIT 开源了。Reddit网友说得好：It’s the deepseek way.
Post-Training Large Language Models via Reinforcement Learning from Self-Feedback
https://arxiv.org/pdf/2507.21931
https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017/tree/main