晚点再听LaterCast公众号文章

Claude主管:“别再像2024年那样使用Claude了”丨Silicon Valley Girl

把错误日志复制给AI,等它修完再去搬下一条,Felix发现自己成了Claude的传送带。这位Claude工程负责人谈了另一种工作方式:交代目标,提供原始资料,用独立证据验收,也定期检查旧Skill是否已经妨碍了模型。

晚点再听LaterCast

公众号 · 39 篇文章

每天挑选一期硅谷AI科技值得关注的播客,让你与前沿同频。如果你现在没空可以收藏进 晚点再听LaterCast,在通勤、走路或做家务时一篇篇轻松听完

"我不过是在给Claude当传送带。"

"人类的注意力仍然非常有限。"

"我很少愿意让当前这个会话来评价它自己的工作。"

给AI写好提示词,上传资料,再把结果交给自己检查,这套流程已经让不少人省下了时间。可当越来越多工作都能这样处理,人的一天也可能变成不停派活、搬运材料和审稿:AI忙得很,自己也没闲下来。

主持人Marina就遇到了这个问题。她有一支35人的团队,成员各自用Claude处理负责的工作,但产出最后仍要经过她。她想做得更多,却成了整个流程里最忙的一关。

在这期访谈中,Claude工程负责人Felix Rieseberg谈到,自己也经历过类似阶段。他提出的调整涉及几个相连的问题:任务该交到哪一步,模型需要什么资料,以及人怎样知道它真的做好了。

别让自己变成AI的传送带

一年半前左右,Felix处理软件崩溃的方式是:先去看崩溃记录,挑出一个问题,转交Claude修复。写代码的工作省掉了,找问题、挑问题和搬运信息的工作却留在自己手里。他做着做着意识到,这条流程仍然要靠人不断给AI送来下一件活。

他因此想把任务往前交一步:让Claude能访问崩溃数据,再由它判断哪些问题需要修、哪些不需要。接通数据和工具有前期成本,但如果每次都得由自己准备材料,这笔成本只是在以另一种形式反复支付。

"如果你只是在说“帮我总结这封邮件”,或者“把这封邮件写得没那么生气”,你并没有真正用上更强的模型能力。"

这个区别也适用于日常的知识工作。做一份邮件摘要,通常只是为了知道接下来该处理什么;分析一批用户反馈,往往是为了判断产品该改哪里。如果只把前一小步交给模型,后面的筛选和追问仍得由人重新启动。

Felix建议顺着手头的任务再问一句:我希望这件事做完以后,发生什么?然后试着把那个结果交给模型。任务范围可以逐步扩大,直到碰到当前能力的边界,再决定哪些部分需要自己接手。

他还区分了节省旧工作的时间,与获得原本没有的能力。自动化可以替人去掉昂贵、繁琐的任务,但他更感兴趣的是,AI能否帮助一个人完成因缺少知识或技能而做不了的事。衡量一次尝试是否值得,也就不只有“省了多少分钟”,还包括过去不敢试的想法,如今能不能先做出来看看。

他也给这条建议划了界限。大多数企业最终都想赚钱,但只丢给Claude一句“去赚钱”,眼下并不会走得很远。重点在于找出模型已经能承担、自己却仍在代劳的那一段,而不是一下把所有经营责任交出去。

Felix回忆,自己曾逐条搬运崩溃记录,再请Claude修复。

Felix回忆,自己曾逐条搬运崩溃记录,再请Claude修复。

说清专业人士怎么做,比给它一个头衔有用

把更完整的工作交给模型之后,还得说明怎样才算做好:要求越笼统,越容易得到一份听上去合格、实际上说不清好在哪里的东西。尤其是文章、方案和创意,不能像检查计算结果那样,立刻判断对错。

Felix常观察写作者怎样使用AI。他的朋友Adam Davidson不会只说“把这篇文章改好”,而是让Claude放大自己的论点,找出最不同意的地方,再提出最有力的反驳。写作因此变成可以逐步推进的工作,作者也能看见自己的论证究竟卡在哪里。

这些步骤来自写作者多年打磨的习惯。作品好,并不意味着作者坐下来就自然写得好;准备材料、组织论点、推翻重写,本来就是专业工作的一部分。把这些过程告诉模型,比要求它交出一个“有品位的结果”更容易落到实处。

"角色扮演并不是我们要的。我们要的是专业人士会使用的方法、工具和知识,不只是他们的用词。"

他特别区分了两种提示:让Claude“扮演优秀会计”,与让它查明优秀会计会使用什么工具、采用什么方法,再照着做。前者可能换来会计的口吻,后者才在要求它开展相应的工作。

他举的另一个例子是动画和3D制作。让模型使用Blender这类专业工具,可以打开更多制作方式;Felix自己不懂Blender,也曾借助AI为个人网站制作3D素材。他仍能从使用者的角度判断,效果是不是自己想要的。

把资料放在它能找到的地方,也检查旧规矩

Marina原先会按任务建立项目,把某类工作所需的流程、历史稿件和数据放进去。Felix没有要求她全部推倒重来;他的前提是,现有办法有效,就有保留的理由。不过,在他自己的使用中,预先替每个角色切一小份资料,已经不再那么必要。

他用工程经理作比方:只有代码权限,往往不足以判断产品出了什么问题。客户怎么说、用户怎样使用、业务哪里遇阻,同样会影响决定。AI也需要看见与任务有关的背景,不能因为被设成了某个角色,就只能接触某一类材料。

这不等于把全公司的文件一股脑塞进对话。他的办法是提供工具,并清楚说明每个工具能取到什么数据,由模型在需要时查找。这样,新开一个会话时,人不用重新拼装整套背景,模型也不必先读完所有资料才能开工。

同样需要重新检查的,还有以前为AI写下的Skill,也就是可反复使用的工作说明。Felix说,他们仍经常使用Skill,但会谨慎判断:有些规则是为了弥补上一代模型的不足,模型变了,规则却留了下来。

"有时我们会发现,把Skill完全拿掉,反而能得到更好的输出。"

他会设想自己是接到任务的那个模型:为了完成工作,自己希望拿到什么?原始数据、电脑和可用工具,往往比别人预先筛选好的结论更有帮助。这个问题能帮助检查,当前安排究竟是在提供条件,还是无意间替模型排除了有用的信息。

这条建议的前提,是你有办法比较好坏。拿同一份任务和资料,分别看保留与去掉旧说明后的结果,再决定改什么,会比凭感觉把规则越写越长更有依据。

对于刚开始的人,他也不建议先把连接器和复杂系统搭齐。可以先让Claude在浏览器里尝试真实工作,看哪里确实有用;等流程跑得通,再考虑接入更适合的工具。先验证这件事值不值得做,再投入自动化建设。

让AI干活,也要让检查独立发生

任务交得越完整,验收就越不能只看“回答像不像那么回事”。Felix用报天气举例:模型猜中了温度,不应该因此拿到好评;反过来,如果它找对地点、查了可靠来源,温度有半度误差,过程仍可能更值得信任。碰巧答对与有根据地完成工作,是两回事。

遇到自己不熟悉、又难以直接判断的内容,他会另开会话做对抗审查,专门寻找原产出的错误。访谈当天早上,他写完一篇博客,就让Claude启动五个线程,分别尝试证明他的事实、理解或思路哪里出了问题。

"当前这个会话,往往不擅长判断自己做得好不好。只要可以,我就会尽量寻找外部信号。"

审查意见很多,也不意味着每一条都该照改。他在编程工作里还会安排另一个模型会话,判断批评是否成立,再把有效反馈交回去修改。有些意见看似合理,却误解了任务,或者无法带来实际改进;接受所有建议,可能反而把东西改坏。

相比让同一段对话一边写、一边宣布自己写得不错,他更愿意寻找外部证据。独立会话可以帮忙挑错,但他更偏好能核实的依据。比如检查演示稿中的数字,他会要求Claude为每个数字找到原始来源,并确认来源是否可靠。

他说,自己已经很信任这种事实核查流程。这是他对自己工作方式的评价,不能据此推导出所有AI核查都不会出错。对读者更有用的做法,是把“已核查”的要求落到可检查的东西上:数字对应什么出处,结论靠什么支撑,哪些疑问仍没解决。

你改过的东西,得让它下次看得见

Marina还有一个更难的问题:Claude给出初稿,团队加工后交给她,她再凭自己的判断修改;最终发布的内容,可能与初稿有七成相同,剩下三成才是她认为关键的部分。反馈留在团队的Telegram讨论里,下次做同类任务时,Claude未必知道这次为什么改。

Felix建议从已有反馈里整理判断标准。他描述了一个过程:先收集过去的修改意见,请Claude归纳自己在意的原则,再追问其中有没有反复出现、但自己还没明确说出来的偏好。这样得到的材料,才能用于之后的评审,而不是每次从一句“感觉不对”开始。这里整理的是你判断好坏的标准,与前面那些为旧模型补漏的操作规则有所不同。

但让模型总结出一份原则,不等于它立刻能接替本人。对于暂时不敢放手的工作,他推荐并排试跑:同一份材料,自己先写评语,再看Claude独立给出的意见;比较几轮,找出哪些判断接近,哪些分歧需要继续处理。

同一个人,星期一与星期五审同一篇文档,意见都可能不同;因此,目的并非让模型逐字复现每次评语,而是确认那些真正影响质量的标准能否稳定发挥作用。比较这些差异,能帮助人决定下一步可以放手多少。

Felix说明如何把过去的反馈整理成后续评审可用的原则。

先收集反馈,再提炼原则,找出自己尚未明确说出的偏好。

省下来的功夫,花在弄懂别人的工作上

过去考虑一个软件想法,Felix得先盘算开发时间、维护成本,以及做了这件事就顾不上什么。如今,他可以更快拿到一个能试的原型,亲自用一用,再讨论值不值得继续。可试验成本下降,只是把一些想法带到了可以检验的阶段,并没有替人完成筛选。

Felix现在大部分时间在试做产品原型:提出几种想法,让Claude做出不同版本,再判断哪些值得继续。制作变快以后,新的限制是人的注意力。他可以很容易地做出一千个版本,却无法让另一个人认真看完一千个。

他观察产品是否有希望时,会看它放到几个人面前后,对方能否很快明白怎么用,并做成以前做不到的事。再多做几个按钮并不难,但每个按钮都可能占用用户的注意力;知道哪些可以拿掉,也是一项产品判断。

如果不知道别人真正需要什么,做出再多版本也未必有用。Felix讲起一个习惯:住酒店办理入住,会告诉前台自己做软件,请对方展示电脑上怎样操作。他看到的许多系统仍然笨重难用,和硅谷熟悉的最新工具相距很远。理解这些人每天到底被什么耽误,才能判断应该改什么。

这也是他给年轻工程师的建议:做出真实可用的东西,证明自己能和客户交流,分清必要与多余,并把不同系统接起来解决问题。单纯熟记某个框架的接口,在他看来不再像以前那么有价值;让用户得到实际好处,才是他一直看重的结果。

他尤其欣赏自己接触过的滑铁卢大学实习生。有些人进入团队时,已经在多家公司实习,知道怎样争取资源、推动一个想法,也知道怎样与法务等部门合作。在他的观察里,这让他们即使刚开始第一份正式工作,也更容易把事情推进下去。软件能很快写出来以后,这些人与人、部门与部门之间的工作,并没有跟着消失。

写在最后

不必先把整套工作交给AI。挑一件自己熟悉、能够判断好坏的事,让它多做一步,再用独立证据检查结果;如果有效,就把必要的资料和反馈接进去。Felix也承认,这期给出的建议,十周后可能又要修改。把已经能做的部分试出来,也给自己的办法留下调整的余地。


内容来源:"Claude Engineering Lead: "Stop Using Claude Like It’s 2024""丨Silicon Valley Girl(嘉宾:Felix Rieseberg(Anthropic 的 Claude 工程负责人))

原视频:https://www.youtube.com/watch?v=D-SVFneJ_Nk

相关文章

如果你现在没空,可以收藏进晚点再听,通勤、走路或做家务时一次性听完⇣

⇣ 关注我,每天为你更新硅谷最新的 AI 创业/科技播客总结,让你与前沿保持同频 ⇣

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →