从脆弱脚本到智能系统：GUI Agent在智能化测试中的工程落地实践

从脆弱脚本到智能系统：GUI Agent在智能化测试中的工程落地实践

摘要

传统UI自动化测试长期面临脚本维护成本高、跨端适配复杂、断言能力弱等结构性困境。本文基于质效研发部在QCon北京2026分享的GUI Agent智能化测试系统，系统阐述了一套“像做AI Coding一样做自动化测试”的工程实践方案。该方案通过三层架构设计（业务意图层、Agent探索层、可执行代码层）、双Agent协作模式、Code-as-Action策略以及基于文件系统的分层知识库，在2026年春节大促期间实现了4.3万+次自动执行、58%自动化率、82%的AI用例生成采纳率以及回归脚本Token消耗趋近于零的成果。本文将从业务痛点出发，逐层拆解技术架构与核心实现，并提供完整的代码示例与工程解读。

关键词：GUI Agent；智能化测试；Code-as-Action；视觉定位；知识图谱；UI自动化

一、引言

1.1 一个直击灵魂的问题

“大家多年打磨的UI自动化是否真实提效了？”——这是小红书GUI Agent方向负责人张亦驰在分享开头抛出的问题。

对外汇报时，答案通常是正面的：省了多少人力、提升了多少测试覆盖率。但实际落地中，可能只是把“人工维护用例”变成了“人工维护脚本”，紧急情况依然需要人工介入。传统自动化找到了80个bug，但最后还是要人工兜底，没能彻底释放人力。

1.2 本文贡献

本文的主要贡献包括：