上个月跟团队里一个测试同学聊天,他说他现在写Playwright脚本,第一步一定是先让AI生成一版,然后“改改就能用”。

我问他:“你所谓的‘改改’,一般要改多少?”

他想了想:“看情况。有的改两三行,有的基本重写。”

我说:“那你这不叫‘生成’,叫‘生成草稿’。”

他问我:“那到底有多少能直接用?”

这个问题把我问住了。我平时给AI的Prompt都写得比较规范,生成的脚本质量一直不错,但我确实没有系统统计过“开箱即用率”。于是我决定做一个实验:设计20个典型场景,每个场景只给AI“一段自然语言描述+页面地址”,不让它读代码、不给示例、不做任何修正,看它生成的脚本能不能直接跑通。

先说结论:20个场景,直接跑通6个,跑通但有瑕疵9个,跑不通5个。开箱即用率30%,可用率75%。

这个数字比“改改就能用”听起来低,但比“AI写的不能用”高得多。更有价值的是,我记录了每个场景“为什么不能直接用”,这些失败模式是可以提前规避的。

人工智能技术学习交流群

伙伴们,对AI测试、大模型评测、质量保障感兴趣吗?我们建了一个 「人工智能测试开发交流群」,专门用来探讨相关技术、分享资料、互通有无。无论你是正在实践还是好奇探索,都欢迎扫码加入,一起抱团成长!期待与你交流!👇

一、实验设计:20个场景,覆盖四类复杂度

场景来源:一个公开的电商演示站,之前没接触过,所有场景都是我根据页面功能临时设计的。

AI输入:每个场景只给一段自然语言描述,包含页面地址、操作步骤、预期结果。不给页面截图、不给DOM结构、不给框架示例。

评估标准:

实验工具:Playwright 1.58,Python同步API,headless模式。

二、结果总览:6/9/5

|

场景

|

结果

|

主要问题

|
| --- | --- | --- |
|

1. 登录页元素存在性检查

|

直接可用

|

—

|
|

2. 正常登录流程

|

直接可用

|

—

|
|

3. 错误密码登录

|

跑通有瑕疵

|

断言停在页面文案,没验token未生成

|
|

4. 空表单提交

|

跑通有瑕疵

|

未等校验提示出现就断言

|
|

5. 导航栏链接跳转

|

直接可用

|

—

|
|

6. 搜索框输入并提交

|

跑通有瑕疵

|

未等搜索结果加载完成

|
|

7. 搜索结果数量验证

|

跑不通

|

选择器猜错,实际无该class

|
|

8. 商品详情页加购

|

跑通有瑕疵

|

加购按钮定位用了css class

|
|

9. 购物车数量验证

|

跑通有瑕疵

|

断言只验了页面显示,未验接口

|
|

10. 购物车删除商品

|

跑不通

|

删除按钮用了hover后出现的伪元素

|
|

11. 多步表单填写

|

跑通有瑕疵

|

部分步骤未加等待,CI上时绿时红

|
|

12. 文件上传

|

跑通有瑕疵

|

上传路径硬编码为本机路径

|
|

13. 下拉框选择

|

直接可用

|

—

|
|

14. 复选框批量勾选

|

跑通有瑕疵

|

循环中未重新定位,元素引用过期

|
|

15. 弹窗关闭

|

跑不通

|

弹窗iframe未切换上下文

|
|

16. 动态加载列表滚动

|

跑不通

|

无限滚动触发逻辑靠sleep

|
|

17. 网络请求拦截断言

|

跑通有瑕疵

|

断言了状态码,未验响应体字段

|
|

18. 多标签页切换

|

跑不通

|

未处理新tab的上下文切换

|
|

19. 视觉截图比对

|

跑通有瑕疵

|

没配baseline,每次都生成新的

|
|

20. 跨浏览器配置

|

直接可用

|

—

|

三、直接可用的6个:为什么它们能成

6个直接可用的场景,有共同特征:元素定位简单、交互逻辑线性、断言对象明确。

比如“登录页元素存在性检查”——检查页面上有邮箱输入框、密码输入框、登录按钮。这三个元素都有明确的可访问名称,AI生成的getByRole('textbox', { name: '邮箱' })和getByRole('button', { name: '登录' })直接命中。

比如“正常登录流程”——打开页面、填账号密码、点登录、验证跳转。这是AI训练数据里最常见的场景,它生成的getByRole + waitForURL + toBeVisible组合,正好是这个页面的正确写法。

比如“下拉框选择”——selectOption方法简单直接,AI生成的page.getByRole('combobox').selectOption('option-value')一次就跑通了。

规律:输入描述里包含“元素的可访问名称”和“明确的预期结果”时,AI生成的脚本直接可用率最高。  因为它的定位器有锚点,断言有目标。

四、跑通但有瑕疵的9个:问题集中在三处

这9个场景能跑通,但审脚本的时候能看出明显短板。问题集中在三个地方。

问题一:断言太弱,只验了“表面”

场景3(错误密码登录),AI生成的断言是:

assert page.get_by_text("密码错误").is_visible()

脚本能跑通,页面确实显示了“密码错误”。但它没验:token有没有生成、用户有没有保持未登录状态、有没有触发风控计数。

这是AI生成脚本最普遍的问题。  它只断言“页面上出现了什么”,不断言“系统状态变成了什么”。9个有瑕疵的场景里,5个是这个毛病。

怎么改:在Prompt里把断言分层写死——“必须包含协议层、数据层、业务层三层断言,禁止只断言页面文案”。

问题二:等待策略靠猜

场景6(搜索框输入并提交),AI生成的是:

page.get_by_role("textbox").fill("手机")page.getByRole("button", { name: "搜索" }).click()page.wait_for_timeout(2000)assert page.get_by_text("搜索结果").is_visible()

它能跑通,但wait_for_timeout(2000)是一个定时炸弹。网络快的时候浪费两秒,网络慢的时候两秒不够,CI上时绿时红。

AI不知道你的系统“加载完成”的信号是什么,它只能用最保守的方式——等固定时间。

怎么改:在Prompt里明确要求“禁止使用wait_for_timeout,等待必须用web-first断言或waitForResponse”。

问题三:定位器绑定实现细节

场景8(加购按钮),AI生成的是:

page.locator(".btn-add-to-cart").click()

它能跑通——当前页面上确实有这个class。但这个class是构建时生成的,下次前端改版就可能变。AI没见过这个页面,它不知道哪些class是稳定的、哪些是哈希的,它只是从训练数据里选了最常见的写法。

怎么改:在Prompt里指定定位优先级——“优先使用getByRole和getByText,禁止使用CSS class和XPath”。

五、跑不通的5个:问题集中在“AI不知道页面长什么样”

5个跑不通的场景,原因各不相同,但根子是同一个:AI在“猜页面”。

场景7(搜索结果数量验证) :AI生成的选择器.search-result-item在页面上不存在。真实页面的结果项是article标签,没有class。AI猜了一个“合理但不存在”的选择器。

场景10(购物车删除商品) :删除按钮是hover之后才出现的伪元素。AI不知道这个交互细节,它生成的是直接点击一个不存在的按钮。

场景15(弹窗关闭) :弹窗内容在一个iframe里。AI没有切换iframe上下文,直接在主页面找关闭按钮,找不到。

场景16(动态加载列表滚动) :无限滚动需要监听滚动事件、判断是否加载完成。AI用了一个固定的循环加sleep,逻辑完全不对。

场景18(多标签页切换) :点击链接打开了新tab,AI没有处理context.pages的切换,还在旧页面上操作。

这5个场景的共同点:它们都需要“AI先看一眼页面,再决定怎么写”。而我的实验设计是“只给描述,不给页面”,所以AI只能猜。猜错了,就全错。

六、一个关键发现:80%的失败,可以用“先快照”消除

实验做到第15个场景的时候,我换了个做法:在给AI描述之前,先用Playwright MCP的browser_snapshot获取页面的可访问性快照,把快照一起喂给AI。

“以下是页面的可访问性快照,请基于快照中实际存在的元素,生成购物车删除商品的Playwright脚本。”

AI拿到快照后,生成的脚本是这样的:

page.get_by_role("button", { name: "删除" }).click()page.get_by_role("dialog").get_by_role("button", { name: "确认" }).click()

它从快照里看到了“删除”按钮的准确名称,也看到了删除后弹出的确认对话框。一次跑通。

我用这个方法重新跑了之前失败的5个场景,4个一次跑通,1个(无限滚动)仍然需要人工补充逻辑——因为快照只展示“当前状态”,展示不了“滚动后加载”这个动态过程。

规律:80%的“跑不通”,不是AI能力问题,是“AI没看到页面”的问题。  先快照,再生成,开箱即用率从30%提到了65%。

七、怎么让AI生成的脚本“更敢用”:四条规定写进Prompt

基于这20个场景的实测,我总结出四条必须写进Prompt的规定。加上这四条之后,重新测了之前的20个场景,直接可用率从30%提到了55%,可用率(含瑕疵)从75%提到了90%。

第一条:定位器优先级。

“定位器优先级:getByRole > getByLabel > getByText > getByTestId > 最后才考虑CSS。禁止使用XPath和动态class。”

第二条:断言分层。

“每条用例的断言必须覆盖:协议层(状态码)、数据层(业务code、关键字段)、业务层(状态流转、金额计算)。禁止只断言页面文案或元素可见。”

第三条:等待策略。

“禁止使用waitForTimeout。等待必须用web-first断言(toBeVisible、toHaveText)或waitForResponse。”

第四条:依赖和清理。

“如果测试需要前置数据,用fixture或setup步骤生成,不要在测试方法里硬编码。测试结束后清理产生的数据。”

八、最终结论:AI写的Playwright脚本,到底能不能直接用?

能直接用,但只限于“简单、线性、元素明确”的场景。  6/20,30%。

稍微改改能用,覆盖大部分场景。  9/20,45%。

不能直接用,需要重写或补充关键逻辑的,集中在三类:定位器猜错、iframe/多tab上下文没处理、动态交互逻辑缺失。5/20,25%。

但如果你在给AI描述之前,先给它一份页面快照,再在Prompt里加上那四条规定,开箱即用率能提到65%以上。

AI不是不会写Playwright脚本。它写的getByRole、waitForURL、toBeVisible,语法完全正确。它的问题是“看不见你的页面”,以及“不知道你的验收标准”。

你把页面给它看,把标准给它写清楚,它写出来的脚本,大部分你改两行就能用。

下次你让AI写脚本之前,先问自己一句:我给它看页面了吗?我告诉它什么算对了吗?

两个都给了,它写的就不是“草稿”,是“初稿”。初稿和草稿的区别,就是改两行和改两小时的区别。

推荐学习

自动化智能体与测试用例生成课程,限时免费,机会难得。扫码报名,参与直播,希望您在这场课程中收获满满,开启智能自动化测试的新篇章!

关于我们

霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。