云计算百科
云计算领域专业知识百科平台

Playwright 爬虫怎么防?反自动化防护的四级阶梯,多数网站停在第二级

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

我们在做自托管 WAF,最近做了一次授权对抗实测(两款 WAF、五个维度、约 600 次请求,报告已公开,链接在文末)。这篇文章不讲产品,讲实测过程中被反复验证的一个事实:大多数网站的反爬体系,停在了一个十年前的威胁模型上。

一、爬虫的三级威胁模型

第一级:纯代码爬虫。 不带 JS 引擎,直接构造 HTTP 请求——requests、curl、各种采集框架的默认形态。伪装手段是请求头级别:换 UA、补全头集合、伪造凭证。

第二级:程序控制浏览器。 Playwright、Puppeteer、Selenium 驱动真实浏览器内核。有完整 JS 引擎,理论上能通过任何 JS 挑战,能补齐窗口尺寸、删除自动化标识、覆写环境属性保持原生外观。伪装做到了「浏览器环境」级别。

第三级:有头 + 行为注入。 第二级之上再加真实鼠标轨迹和点击事件的注入。这是当前采集对抗的天花板——它不再伪装环境,直接伪造行为。

多数站长的心智模型还停在第一级:「我上了 UA 黑名单/频率限制,应该够了吧」。而市面主流方案的防护能力,多数停在第二级的一半:「我上了 JS 挑战」。

二、防护方案的四级阶梯

第一级:UA 黑名单与频率限制。 对第一级爬虫有效——但对第二级直接失效:Playwright 的请求头和你公司的运维脚本没区别。死穴:零成本绕过。

第二级:JS 挑战。 页面下发计算任务,浏览器执行后放行。对第一级爬虫是彻底的死刑(没有 JS 引擎,执行不了);对第二级爬虫是「理论门槛」——对方有完整 JS 引擎,能算出来。能不能拦住,取决于挑战之外还有没有别的判定。这是「能不能」和「够不够」的分水岭。

第三级:环境判定。 不看行为、不看计算结果,看浏览器环境本身是否处于被程序驱动的状态。这是目前对抗第二级爬虫唯一稳定的路线。实测中一个值得记录的结果:六种自动化构造(裸无头、有头、删自动化标识、补窗口尺寸、粗糙伪装、精细伪装)在做了环境判定的两款产品上全部未放行——无论伪装程度如何,结果一致。这印证了它的结构优势:判定不依赖单一属性,攻击者没有「改某个字段」的单点绕过路径。

第四级:验证码兜底。 可疑但无法确认的流量交给验证码。注意:它不是独立方案,是第三级之后的兜底,天花板取决于两件事——验证形态的抗识别强度,以及单会话的获取控制;获取控制缺失时,兜底层可以被脚本批量收集样本后击穿。所以给读者的核心建议是:选了带验证码兜底的产品,问清楚厂商单会话的获取限制,否则兜底等于漏底。

三、两个实测带来的反直觉结论

「模拟得越像真人,越难被拦」在第三级防护面前不成立。 我们在测试中注入了被系统标记为可信的真实鼠标轨迹与点击,验证结果依然是失败。行为真实性在环境判定面前不是通行证——这对靠「养号式模拟」的采集团队是个坏消息,对站长是个好消息。

指纹轮换救不了已经暴露的会话。 更换浏览器指纹确实会回到第一层挑战,但如果第一层本身能识别自动化环境,轮换的结果是「验证失败」而不是「重新开始」。分级状态的设计合理(避免企业出口整体误伤),前提是第一层足够可靠——第一层是地基,地基不稳,上面的分级全是绕过入口。

四、给站长/后端的自查清单

按你自己站点的防护现状对号入座:

  • 你的反爬是否只有频率限制和 UA 规则?(→ 对 Playwright 时代无效,升级)
  • 你有 JS 挑战,但有没有 JS 挑战之外的环境判定?(→ 没有的话,对第二级爬虫只剩「算力门槛」)
  • 你的兜底层(验证码/滑块)有没有单会话获取限制?(→ 没有就是漏底)
  • 被拦请求和正常请求是同一个通道吗?(→ 无差别验证的站,先评估内容业务的延迟代价)
  • 你最近一次看爬虫日志里 headless、自动化框架标识的占比是多少?(→ 占比趋近 0 不代表没有爬虫,代表它们已经学会藏了)
  • 五、报告

    本文所有结论性数据来自公开的对抗性实测报告(两款 WAF 对照、五维结果、免责声明齐全): https://github.com/dfpopp/clwaf/blob/main/docs/clwaf-protection-benchmark-2026.md

    产品与免费版:https://github.com/dfpopp/clwaf(免费下载安装,数据自托管)

    老规矩:我们在报告里同时公开了自己被测出的待改进项——不敢写短板的评测不值得信。欢迎在评论区交流你站点遇到的爬虫形态,具体场景能给具体判断。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » Playwright 爬虫怎么防?反自动化防护的四级阶梯,多数网站停在第二级
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!