AI 给的脚本本地全绿、一进 CI 就崩——问题不在它不会写,在你没把项目家底交给它。
今天的精选聚焦“AI 写自动化脚本”这件事。一篇社区复盘点破:AI 给的脚本“本地一跑就绿、接进 CI 就崩”,瓶颈不在它会不会写,在你有没有把项目的规矩和家底交给它。另一篇更往前一步,把 Appium 框架改造成 Agent(智能体,能自己调工具干活的 AI)看得懂、还能自己恢复的样子,讲清了“框架先稳、再接模型”的顺序。
团子帮你扫了今天的 AI 测试圈,下面两条值得花时间看。
AI 写的脚本进不了 CI,差在没喂上下文
把用例丢给 AI,它给的脚本一跑就绿,接进 CI(持续集成,代码合入就自动跑测试)就崩:自己起浏览器、长串绝对 XPath、到处 time.sleep(死等)、数据写死、没断言。说到底:AI 不是“翻译用例”,是在做“基于上下文的模式补全”——给了项目上下文就模仿你的写法,不给就退回训练数据里最通用的写法。
三件可抄动作:①喂五类上下文(技术栈版本、目录约定、已有封装、目标用例、真实页面);②提示词写死纪律(复用已有 Page Object(把页面元素和操作封装成类)、禁 time.sleep、数据用 API 造完自己清、断言落到可判定预期);③让它盘点已有资产、说方案,没重复封装再写代码。
反直觉的是:AI 写选择器时并没打开你的页面,写的是“按语义猜的草稿”;定位器可开 Codegen(Playwright 录制工具)点一遍,喂它。
团子解读:① 上下文越全,它越像你们团队的工程师;五类里“已有封装”最值钱,也最容易被漏。② 别只看脚本“跑绿了”,先问断言验的是不是用例声称的那条规则——很多绿测试其实什么都没验。③ 这是社区个人复盘,方法可抄;他说这能拦住 80% 的跑偏,那是经验估计,不是实测。
给 Appium 框架加一层 Agent 自愈
Appium(移动端自动化框架)脚本总在同样的地方挂:按钮晚出现、弹窗挡住、元素文字变了。人家怎么做的呢?不是给脚本套层模型,而是先把框架改成“会说话”——每步写清五件事:当前状态、要做什么、依赖什么前置、看到什么结果、失败怎么办。
框架级 Agent 的自愈(框架从失败中恢复)链路是:元素找不到 → 试备用定位 → 扫本地规则 → 收集截图和页面摘要 → Agent 判断出了什么问题 → 策略层检查安全性 → 执行器去点 → 重新执行原查找 → 回头验证原目标是否恢复。
他划了硬边界:Agent 只返回建议、不自己点;“执行了恢复动作”不等于“业务成功”,得由原目标验证说了算。顺序也反着来:先把操作手机的底座、步骤、日志这些“手脚”做稳,再接 Agent——框架不可靠,接模型只会让问题更难查。
团子解读:① 这套自愈冲的是 Appium 脚本的 flaky(同一操作第一次挂、第二次又过);但得先修框架,别指望模型救场。② 最值得抄的是边界:Agent 只给建议不自己点,“恢复动作执行了”不算业务成功——这条能防假绿。
互动话题
你们让 AI 写自动化脚本时,是直接丢用例,还是先喂项目上下文?有没有遇到过“本地全绿、一进 CI 就崩”的脚本?欢迎来评论区聊聊。
觉得有用?
如果今天的资讯对你有价值,欢迎点赞、在看、转发
扫码关注「AI测试团子」
每天 · AI测试资讯深度解读