转载自 | 减论
本文转载自知乎作者 Wayne Xu 的专栏文章《CCF优博成长访谈第十一期｜中国科学院大学副教授杨智勇：变中求不变 — AI变革中的科研求索与思考》。
原文链接：https://zhuanlan.zhihu.com/p/2082234751897834492
杨智勇，中国科学院大学计算机科学与技术学院副教授、博士生导师，主要从事机器学习理论与方法研究，研究方向涵盖Decision Invariant Optimization (Xcurve Framework)、Trustworthy Machine Learning、Long-tail Learning、大模型高效压缩等。其研究成果发表于 IEEE TPAMI、ICML、NeurIPS 等国际期刊和会议，相关工作曾获 ICML Long Talk、NeurIPS Oral/Spotlight 等认可，并获吴文俊青年科技奖、百度奖学金等荣誉，入选 ATML Fellowship、博士后创新人才支持计划（博新计划）等人才项目。
导读：面对AI领域的持续变化，我们可能会有很多困惑：如何找到一个值得长期投入的问题？技术范式变化时，过去的知识是否还有用？AI时代，人到底还能做什么不被取代的东西？杨智勇老师结合自己多年科研和教学经验，分享了AI 变革中的科研求索与思考，回答了AI时代如何变中求不变、以不变应万变， 非常引人深思，很有借鉴价值。
1.AI 领域持续处在变化之中
统计学习 -> 深度学习 -> 大模型 -> 智能体，技术迭代越来越快。
如何找到一个值得长期投入的问题？
选择的方向要有延展性【方向的延展性】
自己要有定力能够坚持去做一件事，不管外部反馈是什么【个人定力】
有时候正确的判断往往是掌握在非常少数人的手里
杨智勇：不要惧怕一些负反馈。有的时候我们及时地受到一些负反馈会让我们更好地去反思自己，从而有更好的一个机会去做更好的研究。
杨智勇老师讲述了自己的科研历程大致经历了零散探索（先把研究做起来，积累不同方向的理论和技术基础）、聚焦方向（聚焦AUC，与“不变量”结缘）、持续延拓（把一个研究点扩展成一个有意义的研究方向）三个阶段。【探索模型评估、优化过程的不变量】
2. 在AI变革年代，科研本身有哪些需要把握住的不变因素？
2.1 广阔的视野
不要只看眼前路，要学会回望过去，并了解其他的相关学科
既可以往前看，也可以回头看。看看来时路，可能会有更广阔的视野，看到一些完全不一样的风景。
生活里回头看，学习古人的处世哲学。【老祖宗的智慧】
【意公子_我们如今面对的问题，老祖宗会不会有答案？】
研究中回头看，发现问题的思想源头。【先贤的智慧】
回看经典的科学发现历程，发现不足，找到值得长期投入的问题。
很多科学发现思想上都是相通的。
多看看其他的学科，为AI研究注入新灵感【跨学科思维】
人工智能本质上是一个交叉学科，很多AI领军学者具有其他学科背景。
e.g., Geoffrey Hinton: 心理学、脑科学背景；李飞飞：物理学、神经科学背景
现代深度学习也受到生物神经模型的启发。
计算机学科虽然是 AI 必不可少的工具，但不能提供所有方法论层面的指导。
跳出自己的研究领域，跳出纯粹的计算机思维，尝试从跨学科视角理解AI。
2.2 清晰的知识骨架
技术会迭代，但万变不离其宗。
大模型时代，信息更多，判断也更难。【判断力建立在知识储备之上】
不要放弃学习，也不要试图掌握所有信息。
两种极端：新的旧的，全都学；只看大模型，旧的忽略
最佳做法：抓住能迁移到下一轮变化的理论框架。大道至简，抓住基本原理（principle）【Not everything, but everything important.】
算法在变，原理很少变，抓住关键的原理思考问题。【本质】
例一：掌握loss的一般设计准则，大小模型都可以用
例二：模型集成一直是涨点神器，从adaboost，gbdt到今天的MOE框架，背后的共性是什么
例三：SVM中的大间隔理论（Large Margin Theory）一直是提升模型泛化能力的秘诀，在对抗训练中也发挥关键作用
SVM 的大间隔理论是指：在能够正确区分两类样本的情况下，优先选择让两类样本距离分类决策边界尽可能远的模型，因为更大的间隔通常具有更好的泛化能力。
多看新教材梳理基础知识，课后习题要做，光看内容太浅表【新教材中对基础知识脉络的梳理】
杨老师推荐看的教材：
偏ML：Bishop C M, Bishop H. Deep learning: Foundations and concepts[M]. Cham, Switzerland: Springer, 2024.【是PRML的续集，PRML: Bishop C M, Nasrabadi N M. Pattern recognition and machine learning[M]. New York: springer, 2006. 】
偏CV：Torralba A, Isola P, Freeman W T. Foundations of computer vision[M]. MIT Press, 2024.
哪些值得学？【以下都是 AI 领域的常青树】
数学基础
线性代数：要重视几何直观，知道里面的这些操作、线性变换、特征根、特征向量的几何意义是干什么，才能更好地把线性代数用在研究里面。
概率统计：从哲学上两种理解，频率学派和贝叶斯学派。
Ref: 贝叶斯统计与频率统计：真的有很大区别吗？
机器学习基础理论
对主要模型发展脉络理解
2.3 独立的判断
伟大的成功来自逆流而上的孤勇者。
大模型时代，在追逐技术热度的同时，也要保持理智。
要想找到自己的路，多在心里过个问号，不要拿来主义。【批判性思维，要有批判的意识】
带着问题看文献，在看懂文章核心的同时找到不足【发现问题】
2.4 人的主体性
与AI共舞，而不被AI取代。
明晰 AI 能力的边界，在发挥其优势的同时，以自身能力补足其短板。
AI 擅长枚举、广度搜索。【借助AI更快排除坏idea、更快逼近好idea】
我们没有办法完全依赖AI，AI 只是工具和放大器，要有自己的判断。【人的洞察力✖️AI的展开力】
大模型时代，对研究者的基础要求不是更低了，而是更高了。
需要大量的判断，对我们本身的学识、品味、判断力都是一个很大的挑战。
当我们的知识兜不住某个问题的时候，我们需要补充自己的知识，才能更好地驾驭大模型。【improve 自己】
从人与AI的交互层面来讲，怎么去组织、筛查信息很重要，我们自己也要提高。
在输入端，会提问题（提出正确的问题）。
在输出端，判断力、学术品位很重要。
在AI辅助写作之前，论文写作的门道（写作的一些基本principle）我们自己要清楚。
论文写作的核心要义：写作是写给人看的，要基本保障让人看的舒服。
2.5 正确的认知
强健的体魄、积极的态度才是最硬核的本钱。
身心健康
身体和心力，能量根基
如何排解焦虑？
注意力拉回到当下手头的工作【关注当下，尽量避免为未来而焦虑、内耗】
通过完成当下的工作，获得正反馈，激励自己
负反馈对我们的个人成长也能起到一定程度的良好促进作用
关注长期目标，眼光放更远一些，不要太局限在局部的挫折【追求长线收益】
科研之外，跳出来，培养一些可以长期坚持的兴趣（读书、健身、跳舞等）【拥抱生活】
除了科研之外，还有其他的美好的东西。【不要在一棵树上吊死】
知与行要统一
学习新知识（知） 和 运用知识进行实践（行），两者都不可或缺，但是精力、时间有限，必须权衡好。【学习新知识和实践缺一不可，做好权衡，合理分配精力时间】
一边实践，一边学习，边用边学，个人能力进入螺旋式上升的过程。
在实践的过程中，发现了问题，就回来学习，过程中学的知识也会更深刻。
背后的知识如果你都炉火纯青了，应用起来（e.g., 写代码）也会更熟练。
大局与细节
要有大局观和整体意识，不要过早陷入细节。【先大局，后细节】
3. 结语
围绕一个真正重要的问题持续深耕
守住求真、独立与耐心，在AI变革的喧嚣中静下来做科研。
在本次分享中，杨智勇以“变中求不变——AI变革中的科研求索与思考”为主线，直面AI领域技术迭代加速带来的普遍困惑：如何找到值得长期投入的问题？过去的知识是否还有用？人究竟还能做什么不被AI取代？他系统梳理了统计学习、深度学习、大模型到智能体的技术演进脉络，并提出了AI变革年代需要把握的五个不变因素：广阔视野——回望经典科学发现历程与跨学科智慧，从传统工程学科的成功模式中寻找长期方向；清晰的知识骨架——抓住能迁移到下一轮变化的理论框架，在信息迷宫中寻觅“理论极小值”；独立的判断——带着问题看文献，在看懂核心的同时找到不足；人的主体性——AI是放大器而非替代品，最理想的状态是“人的洞察力×机器的展开力”；正确的认知——身心健康是科研突破的能量根基，知与行要统一，先大局后细节。他还特别分享了AI辅助写作的实践方法与论文写作的核心要义。让我们一起来快速回顾本期直播的精彩内容。