/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
我们在做自托管 WAF,最近做了一次授权对抗实测(两款 WAF、五个维度、约 600 次请求,报告已公开,链接在文末)。这篇文章不讲产品,讲实测过程中被反复验证的一个事实:大多数网站的反爬体系,停在了一个十年前的威胁模型上。
一、爬虫的三级威胁模型
第一级:纯代码爬虫。 不带 JS 引擎,直接构造 HTTP 请求——requests、curl、各种采集框架的默认形态。伪装手段是请求头级别:换 UA、补全头集合、伪造凭证。
第二级:程序控制浏览器。 Playwright、Puppeteer、Selenium 驱动真实浏览器内核。有完整 JS 引擎,理论上能通过任何 JS 挑战,能补齐窗口尺寸、删除自动化标识、覆写环境属性保持原生外观。伪装做到了「浏览器环境」级别。
第三级:有头 + 行为注入。 第二级之上再加真实鼠标轨迹和点击事件的注入。这是当前采集对抗的天花板——它不再伪装环境,直接伪造行为。
多数站长的心智模型还停在第一级:「我上了 UA 黑名单/频率限制,应该够了吧」。而市面主流方案的防护能力,多数停在第二级的一半:「我上了 JS 挑战」。
二、防护方案的四级阶梯
第一级:UA 黑名单与频率限制。 对第一级爬虫有效——但对第二级直接失效:Playwright 的请求头和你公司的运维脚本没区别。死穴:零成本绕过。
第二级:JS 挑战。 页面下发计算任务,浏览器执行后放行。对第一级爬虫是彻底的死刑(没有 JS 引擎,执行不了);对第二级爬虫是「理论门槛」——对方有完整 JS 引擎,能算出来。能不能拦住,取决于挑战之外还有没有别的判定。这是「能不能」和「够不够」的分水岭。
第三级:环境判定。 不看行为、不看计算结果,看浏览器环境本身是否处于被程序驱动的状态。这是目前对抗第二级爬虫唯一稳定的路线。实测中一个值得记录的结果:六种自动化构造(裸无头、有头、删自动化标识、补窗口尺寸、粗糙伪装、精细伪装)在做了环境判定的两款产品上全部未放行——无论伪装程度如何,结果一致。这印证了它的结构优势:判定不依赖单一属性,攻击者没有「改某个字段」的单点绕过路径。
第四级:验证码兜底。 可疑但无法确认的流量交给验证码。注意:它不是独立方案,是第三级之后的兜底,天花板取决于两件事——验证形态的抗识别强度,以及单会话的获取控制;获取控制缺失时,兜底层可以被脚本批量收集样本后击穿。所以给读者的核心建议是:选了带验证码兜底的产品,问清楚厂商单会话的获取限制,否则兜底等于漏底。
三、两个实测带来的反直觉结论
「模拟得越像真人,越难被拦」在第三级防护面前不成立。 我们在测试中注入了被系统标记为可信的真实鼠标轨迹与点击,验证结果依然是失败。行为真实性在环境判定面前不是通行证——这对靠「养号式模拟」的采集团队是个坏消息,对站长是个好消息。
指纹轮换救不了已经暴露的会话。 更换浏览器指纹确实会回到第一层挑战,但如果第一层本身能识别自动化环境,轮换的结果是「验证失败」而不是「重新开始」。分级状态的设计合理(避免企业出口整体误伤),前提是第一层足够可靠——第一层是地基,地基不稳,上面的分级全是绕过入口。
四、给站长/后端的自查清单
按你自己站点的防护现状对号入座:
五、报告
本文所有结论性数据来自公开的对抗性实测报告(两款 WAF 对照、五维结果、免责声明齐全): https://github.com/dfpopp/clwaf/blob/main/docs/clwaf-protection-benchmark-2026.md
产品与免费版:https://github.com/dfpopp/clwaf(免费下载安装,数据自托管)
老规矩:我们在报告里同时公开了自己被测出的待改进项——不敢写短板的评测不值得信。欢迎在评论区交流你站点遇到的爬虫形态,具体场景能给具体判断。
网硕互联帮助中心




评论前必须登录!
注册