1.1 \u73b0\u6709\u684c\u9762\u81ea\u52a8\u5316\u7684\u5c40\u9650<\/h4>\n\n- \n
\u4f20\u7edf RPA（\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316）：\u4f9d\u8d56\u9884\u5b9a\u4e49\u811a\u672c\u548c\u8868\u9762 GUI \u7ebf\u7d22（\u50cf\u7d20\u533a\u57df\u3001\u7a97\u53e3\u6807\u9898），\u5728\u52a8\u6001\u754c\u9762\u53d8\u5316\u4e0b\u6781\u5176\u8106\u5f31，\u7ef4\u62a4\u6210\u672c\u9ad8\u3002<\/p>\n<\/li>\n
- \n
\u73b0\u6709 CUA（\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406）：\u867d\u501f\u52a9\u591a\u6a21\u6001 LLM \u5b9e\u73b0\u4e86\u81ea\u9002\u5e94\u4ea4\u4e92，\u4f46\u4ecd\u505c\u7559\u5728\u6982\u5ff5\u539f\u578b\u9636\u6bb5，\u5b58\u5728\u4e09\u5927\u7cfb\u7edf\u7ea7\u7f3a\u9677：<\/p>\n
- \n
\u7f3a\u4e4f OS \u7ea7\u96c6\u6210：\u4ec5\u4f9d\u8d56\u622a\u56fe\u548c\u6a21\u62df\u9f20\u6807\u952e\u76d8，\u5ffd\u7565\u65e0\u969c\u788d API\u3001\u5e94\u7528\u8fdb\u7a0b\u72b6\u6001\u3001COM \u63a5\u53e3\u7b49\u7cfb\u7edf\u8d44\u6e90\u3002<\/p>\n<\/li>\n
- \n
\u7f3a\u4e4f\u5e94\u7528\u5185\u7701：\u5c06\u6240\u6709\u754c\u9762\u7edf\u4e00\u5bf9\u5f85，\u65e0\u6cd5\u5229\u7528\u5e94\u7528\u539f\u751f API \u548c\u9886\u57df\u77e5\u8bc6\u3002<\/p>\n<\/li>\n
- \n
\u7834\u574f\u6027\u6267\u884c\u6a21\u578b：\u76f4\u63a5\u5728\u7528\u6237\u684c\u9762\u52ab\u6301\u9f20\u6807\u952e\u76d8，\u5bfc\u81f4\u7528\u6237\u65e0\u6cd5\u540c\u65f6\u64cd\u4f5c，\u5b58\u5728\u5e72\u6270\u548c\u5b89\u5168\u98ce\u9669\u3002<\/p>\n<\/li>\n<\/li>\n<\/ul>\n
1.2 \u6838\u5fc3\u7814\u7a76\u95ee\u9898<\/h4>\n
\u5982\u4f55\u6784\u5efa\u4e00\u4e2a\u7a33\u5065\u3001\u6df1\u5ea6\u96c6\u6210\u7684\u684c\u9762\u81ea\u52a8\u5316\u7cfb\u7edf，\u80fd\u591f\u7075\u6d3b\u9002\u5e94\u4e0d\u65ad\u6f14\u8fdb\u7684\u754c\u9762，\u53ef\u9760\u5730\u7f16\u6392\u591a\u6837\u5316\u5e94\u7528，\u5e76\u6700\u5c0f\u5316\u5bf9\u7528\u6237\u5de5\u4f5c\u6d41\u7684\u5e72\u6270？<\/p>\n
\u4e8c\u3001UFO2 \u7684\u6838\u5fc3\u8bbe\u8ba1：\u4f5c\u4e3a\u7cfb\u7edf\u57fa\u5ea7\u7684 AgentOS<\/h3>\n
UFO2 \u5c06\u81ea\u52a8\u5316\u63d0\u5347\u4e3a \u4e00\u7b49\u64cd\u4f5c\u7cfb\u7edf\u62bd\u8c61，\u800c\u975e GUI \u4e4b\u4e0a\u7684\u4e34\u65f6\u5c42\u3002\u5176\u67b6\u6784\u7531\u4ee5\u4e0b\u6838\u5fc3\u7ec4\u4ef6\u6784\u6210：<\/p>\n
2.1 \u96c6\u4e2d\u5f0f\u591a\u667a\u80fd\u4f53\u67b6\u6784<\/h4>\n
\n\u7ec4\u4ef6\u89d2\u8272<\/tr>\n \n\nHostAgent<\/td>\n \u4e2d\u592e\u63a7\u5236\u5e73\u9762，\u8d1f\u8d23\u89e3\u6790\u7528\u6237\u610f\u56fe\u3001\u5206\u89e3\u5b50\u4efb\u52a1\u3001\u7ba1\u7406\u5e94\u7528\u751f\u547d\u5468\u671f\u3001\u8c03\u5ea6\u4e0e\u534f\u8c03<\/td>\n<\/tr>\n \nAppAgent<\/td>\n \u5e94\u7528\u4e13\u7528\u6267\u884c\u8fd0\u884c\u65f6，\u6bcf\u4e2a\u7ed1\u5b9a\u4e00\u4e2a Windows \u5e94\u7528（Excel\u3001Outlook\u3001Edge \u7b49），\u5c01\u88c5 API \u7ed1\u5b9a\u3001UI \u68c0\u6d4b\u5668\u548c\u77e5\u8bc6\u5e93<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\n- \n
\u901a\u8fc7 \u5168\u5c40\u9ed1\u677f \u5b9e\u73b0\u5171\u4eab\u5185\u5b58\u4e0e\u4ee3\u7406\u95f4\u901a\u4fe1\u3002<\/p>\n<\/li>\n
- \n
\u652f\u6301\u8de8\u5e94\u7528\u5de5\u4f5c\u6d41（\u5982\u4ece Excel \u63d0\u53d6\u6570\u636e\u586b\u5145 Web \u8868\u5355）\u3002<\/p>\n<\/li>\n
- \n
\u6240\u6709\u4ea4\u4e92\u5728 \u865a\u62df\u5316 PiP \u684c\u9762 \u4e2d\u8fd0\u884c，\u786e\u4fdd\u8fdb\u7a0b\u7ea7\u9694\u79bb\u3002<\/p>\n<\/li>\n<\/ul>\n
2.2 \u6df7\u5408\u63a7\u5236\u68c0\u6d4b<\/h4>\n\n- \n
UIA \u5c42：\u67e5\u8be2 Windows UI Automation API \u83b7\u53d6\u7ed3\u6784\u5316\u63a7\u4ef6\u5143\u6570\u636e（\u7c7b\u578b\u3001\u6807\u7b7e\u3001\u5c42\u6b21\u3001\u542f\u7528\u72b6\u6001）\u3002<\/p>\n<\/li>\n
- \n
\u89c6\u89c9\u5c42：\u96c6\u6210 OmniParser-v2（YOLO-v8 + Florence-2）\u89e3\u6790\u622a\u56fe，\u8bc6\u522b\u975e\u6807\u51c6\/\u81ea\u5b9a\u4e49\u63a7\u4ef6\u3002<\/p>\n<\/li>\n
- \n
\u878d\u5408\u53bb\u91cd：\u57fa\u4e8e IoU \u91cd\u53e0\u4e22\u5f03\u5197\u4f59\u89c6\u89c9\u68c0\u6d4b，\u5c06\u4ec5\u89c6\u89c9\u68c0\u6d4b\u8f6c\u4e3a\u4f2a UIA \u5bf9\u8c61，\u5f62\u6210\u7edf\u4e00\u63a7\u5236\u56fe\u3002<\/p>\n<\/li>\n<\/ul>\n
2.3 \u7edf\u4e00 GUI-API \u52a8\u4f5c\u7f16\u6392\u5668（Puppeteer）<\/h4>\n\n- \n
\u652f\u6301 GUI \u52a8\u4f5c（\u70b9\u51fb\u3001\u6309\u952e）\u4e0e \u539f\u751f API \u8c03\u7528 \u7684\u52a8\u6001\u9009\u62e9\u3002<\/p>\n<\/li>\n
- \n
\u4f18\u5148\u4f7f\u7528\u8bed\u4e49\u7b49\u6548 API \u4ee5\u63d0\u9ad8\u53ef\u9760\u6027\u548c\u539f\u5b50\u6027；API \u5931\u8d25\u65f6\u4f18\u96c5\u56de\u9000\u5230 GUI \u4ea4\u4e92\u3002<\/p>\n<\/li>\n
- \n
\u901a\u8fc7 Python \u88c5\u9970\u5668\u6ce8\u518c API，\u81ea\u52a8\u7eb3\u5165 AppAgent \u52a8\u4f5c\u7a7a\u95f4\u3002<\/p>\n<\/li>\n
- \n
\u793a\u4f8b：Excel \u7684 save_as API \u53ef\u5c06\u4e94\u6b65 GUI \u64cd\u4f5c\u538b\u7f29\u4e3a\u4e00\u6b21\u8c03\u7528\u3002<\/p>\n<\/li>\n<\/ul>\n
2.4 \u6301\u7eed\u77e5\u8bc6\u96c6\u6210\u57fa\u5ea7<\/h4>\n\n- \n
\u9759\u6001\u77e5\u8bc6：\u4e00\u952e\u6444\u5165\u7528\u6237\u624b\u518c\u3001\u5e2e\u52a9\u6587\u6863\u5230\u5411\u91cf\u5b58\u50a8，\u8fd0\u884c\u65f6 RAG \u68c0\u7d22\u3002<\/p>\n<\/li>\n
- \n
\u52a8\u6001\u7ecf\u9a8c：\u81ea\u52a8\u603b\u7ed3\u6210\u529f\u6267\u884c\u8f68\u8ff9\u4e3a Example \u8bb0\u5f55，\u901a\u8fc7\u4e0a\u4e0b\u6587\u5b66\u4e60（ICL）\u590d\u7528\u3002<\/p>\n<\/li>\n
- \n
\u7edf\u4e00 RAG \u6d41\u6c34\u7ebf：\u652f\u6301\u7248\u672c\u5316\u7d22\u5f15，\u968f\u8f6f\u4ef6\u66f4\u65b0\u6f14\u8fdb，\u65e0\u9700\u5fae\u8c03\u6a21\u578b\u3002<\/p>\n<\/li>\n<\/ul>\n
2.5 \u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c<\/h4>\n\n- \n
\u5355\u6b21 LLM \u63a8\u7406\u9884\u6d4b\u591a\u4e2a\u8fde\u7eed\u52a8\u4f5c，\u901a\u8fc7 Windows UIA API \u5728\u7ebf\u9a8c\u8bc1\u6bcf\u4e2a\u52a8\u4f5c\u7684\u524d\u63d0\u6761\u4ef6（\u5982 is_enabled()\u3001is_visible()）\u3002<\/p>\n<\/li>\n
- \n
\u9a8c\u8bc1\u5931\u8d25\u65f6\u63d0\u524d\u9000\u51fa\u5e76\u91cd\u65b0\u89c4\u5212，\u4fdd\u7559\u90e8\u5206\u7ed3\u679c\u3002<\/p>\n<\/li>\n
- \n
\u6548\u679c：\u51cf\u5c11 LLM \u8c03\u7528\u9891\u7387，\u644a\u9500\u89c4\u5212\u6210\u672c，\u540c\u65f6\u4fdd\u6301\u6bcf\u6b65\u9a8c\u8bc1\u7684\u6b63\u786e\u6027\u4fdd\u8bc1\u3002<\/p>\n<\/li>\n<\/ul>\n
2.6 \u753b\u4e2d\u753b（PiP）\u754c\u9762<\/h4>\n\n- \n
\u57fa\u4e8e Windows RDP \u56de\u73af\u521b\u5efa\u9694\u79bb\u865a\u62df\u684c\u9762，\u4ee3\u7406\u4e0e\u7528\u6237\u53ef\u5e76\u884c\u64cd\u4f5c\u3002<\/p>\n<\/li>\n
- \n
\u8f93\u5165\u9694\u79bb：PiP \u5185\u9f20\u6807\u952e\u76d8\u4e8b\u4ef6\u5b8c\u5168\u9650\u5b9a\u4e8e\u8be5\u4f1a\u8bdd，\u4e0d\u5e72\u6270\u4e3b\u684c\u9762\u3002<\/p>\n<\/li>\n
- \n
\u5b89\u5168 IPC：\u901a\u8fc7\u547d\u540d\u7ba1\u9053\u5b9e\u73b0\u5bbf\u4e3b\u4e0e PiP \u95f4\u7684\u52a0\u5bc6\u53cc\u5411\u901a\u4fe1\u3002<\/p>\n<\/li>\n
- \n
\u7cfb\u7edf\u7ea7\u610f\u4e49：\u5c06\u81ea\u52a8\u5316\u6267\u884c\u4e0e\u524d\u53f0\u4ea4\u4e92\u6027\u89e3\u8026，\u5f15\u5165 GUI \u4ee3\u7406\u7684\u9694\u79bb\u539f\u8bed\u3002<\/p>\n<\/li>\n<\/ul>\n
\u4e09\u3001\u5de5\u7a0b\u5b9e\u73b0\u4e0e\u4e13\u4e1a\u5316\u8bbe\u8ba1<\/h3>\n
\n\u7ec4\u4ef6\u529f\u80fd<\/tr>\n \n\n\u591a\u8f6e\u4efb\u52a1\u6267\u884c<\/td>\n \u57fa\u4e8e Session \u7684\u6301\u4e45\u4e0a\u4e0b\u6587\u8bb0\u5fc6，\u652f\u6301\u7528\u6237\u7ec6\u5316\u6307\u4ee4\u3001\u8ddf\u8fdb\u4efb\u52a1\u3001\u4eba\u5de5\u5e72\u9884<\/td>\n<\/tr>\n \n\u5b89\u5168\u4fdd\u969c\u673a\u5236<\/td>\n \u68c0\u6d4b\u9ad8\u98ce\u9669\u52a8\u4f5c（\u5982\u5220\u9664\u6587\u4ef6），\u8fdb\u5165 PENDING \u72b6\u6001\u7b49\u5f85\u7528\u6237\u786e\u8ba4<\/td>\n<\/tr>\n \n\u4e00\u5207\u7686\u53ef\u4e3a AppAgent<\/td>\n \u901a\u8fc7\u4ee3\u7406\u6ce8\u518c\u8868\u5c06\u7b2c\u4e09\u65b9\u7ec4\u4ef6（\u5982 OpenAI Operator）\u5305\u88c5\u4e3a\u53ef\u63d2\u62d4 AppAgent<\/td>\n<\/tr>\n \nAgentOS-as-a-Service<\/td>\n \u5ba2\u6237\u7aef-\u670d\u52a1\u5668\u67b6\u6784，\u8f7b\u91cf\u5ba2\u6237\u7aef\u8d1f\u8d23 GUI \u64cd\u4f5c，\u4e91\u7aef\u670d\u52a1\u5668\u6258\u7ba1\u7f16\u6392\u4e0e LLM \u67e5\u8be2<\/td>\n<\/tr>\n \n\u5168\u9762\u65e5\u5fd7\u4e0e\u8c03\u8bd5<\/td>\n \u7ed3\u6784\u5316 Markdown \u6267\u884c\u65e5\u5fd7，\u652f\u6301\u9010\u52a8\u4f5c\u68c0\u67e5\u3001\u91cd\u653e\u548c\u63d0\u793a\u7f16\u8f91<\/td>\n<\/tr>\n \n\u81ea\u52a8\u5316\u4efb\u52a1\u8bc4\u4f30\u5668<\/td>\n \u57fa\u4e8e LLM-as-a-judge \u7684 CoT \u63a8\u7406，\u8f93\u51fa\u6210\u529f\/\u90e8\u5206\/\u5931\u8d25\u53ca\u90e8\u5206\u5206\u6570<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u56db\u3001\u5b9e\u9a8c\u8bc4\u4f30<\/h3>\n4.1 \u5b9e\u9a8c\u8bbe\u7f6e<\/h4>\n\n- \n
\u57fa\u51c6：Windows Agent Arena（WAA，154 \u4efb\u52a1\/15 \u5e94\u7528）\u3001OSWorld-W（49 \u4efb\u52a1）<\/p>\n<\/li>\n
- \n
\u57fa\u7ebf：UFO\u3001NAVI\u3001OmniAgent\u3001Agent S\u3001Operator<\/p>\n<\/li>\n
- \n
\u6307\u6807：\u6210\u529f\u7387（SR）\u3001\u5e73\u5747\u5b8c\u6210\u6b65\u9aa4（ACS）<\/p>\n<\/li>\n<\/ul>\n
4.2 \u4e3b\u8981\u7ed3\u679c<\/h4>\n
\n\u914d\u7f6eWAA SROSWorld-W SR<\/tr>\n \n\nOperator<\/td>\n 20.8%<\/td>\n 14.3%<\/td>\n<\/tr>\n \nUFO\u00b2-base (GPT-4o)<\/td>\n 23.4%<\/td>\n 16.3%<\/td>\n<\/tr>\n \nUFO\u00b2 (GPT-4o)<\/td>\n 27.9%<\/td>\n 28.6%<\/td>\n<\/tr>\n \nUFO\u00b2 (o1)<\/td>\n 30.5%<\/td>\n 32.7%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\n- \n
\u6210\u529f\u7387：UFO\u00b2 \u76f8\u6bd4 Operator \u63d0\u5347\u7ea6 10%（\u76f8\u5bf9\u63d0\u5347 50%），OSWorld-W \u4e0a\u7ffb\u500d\u3002<\/p>\n<\/li>\n
- \n
\u6df7\u5408\u63a7\u5236\u68c0\u6d4b：\u6062\u590d\u9ad8\u8fbe 9.86% \u7684 UIA \u5931\u8d25\u6848\u4f8b\u3002<\/p>\n<\/li>\n
- \n
GUI + API：\u6210\u529f\u7387\u63d0\u5347 6.1%\u20138.2%，o1 \u6a21\u578b\u6b65\u9aa4\u51cf\u5c11 58.5%\u3002<\/p>\n<\/li>\n
- \n
\u77e5\u8bc6\u96c6\u6210：\u89c4\u5212\u5931\u8d25\u51cf\u5c11\u9ad8\u8fbe 17.7%\u3002<\/p>\n<\/li>\n
- \n
\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c：\u6b65\u9aa4\u51cf\u5c11\u9ad8\u8fbe 51.5%，\u6210\u529f\u7387\u4fdd\u6301\u76f8\u5f53\u3002<\/p>\n<\/li>\n
- \n
Operator \u4f5c\u4e3a AppAgent：WAA \u4e0a\u4ece 20.8% \u63d0\u5347\u81f3 26.0%\u3002<\/p>\n<\/li>\n<\/ul>\n
4.3 \u9519\u8bef\u5206\u6790<\/h4>\n\n- \n
WAA：62% \u5931\u8d25\u4e3a\u63a7\u5236\u68c0\u6d4b\u5931\u8d25（UIA \u8986\u76d6\u4e0d\u8db3）\u3002<\/p>\n<\/li>\n
- \n
OSWorld-W：\u89c4\u5212\u9519\u8bef\u6bd4\u4f8b\u66f4\u9ad8（\u590d\u6742\u5de5\u4f5c\u6d41\u9700\u8981\u66f4\u6df1\u9886\u57df\u77e5\u8bc6）\u3002<\/p>\n<\/li>\n<\/ul>\n
4.4 \u6548\u7387\u5206\u6790<\/h4>\n\n- \n
LLM \u63a8\u7406\u4e3b\u5bfc\u5ef6\u8fdf（\u7ea6 10 \u79d2\/\u6b21），\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u4ec5\u589e\u52a0\u7ea6 1 \u79d2\/\u6b65\u3002<\/p>\n<\/li>\n
- \n
\u5b8c\u5168\u96c6\u6210 UFO\u00b2 \u76f8\u6bd4\u57fa\u7ebf\u51cf\u5c11\u9ad8\u8fbe 50% \u7684\u6b65\u9aa4\u6570\u3002<\/p>\n<\/li>\n
- \n
\u6574\u4f53\u4efb\u52a1\u5b8c\u6210\u65f6\u95f4\u7ea6 1 \u5206\u949f\/\u4efb\u52a1\u3002<\/p>\n<\/li>\n<\/ul>\n
\u4e94\u3001\u8ba8\u8bba\u4e0e\u672a\u6765\u5de5\u4f5c<\/h3>\n
\n\u65b9\u5411\u5185\u5bb9<\/tr>\n \n\n\u5ef6\u8fdf\u4f18\u5316<\/td>\n \u90e8\u7f72\u4e13\u7528\u8f7b\u91cf\u7ea7\u5927\u52a8\u4f5c\u6a21\u578b（LAM）<\/td>\n<\/tr>\n \n\u7f29\u5c0f\u4eba\u7c7b\u5dee\u8ddd<\/td>\n \u5fae\u8c03\u89c6\u89c9-\u8bed\u8a00\u6a21\u578b + \u66f4\u7d27\u5bc6 OS\/API \u96c6\u6210<\/td>\n<\/tr>\n \n\u8de8\u5e73\u53f0\u6cdb\u5316<\/td>\n \u8bbe\u8ba1\u539f\u5219\u53ef\u8fc1\u79fb\u81f3 Linux（AT-SPI）\u548c macOS（Accessibility API）<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u516d\u3001\u6838\u5fc3\u8d21\u732e\u603b\u7ed3<\/h3>\n
- \n
\u6df1\u5ea6 OS \u96c6\u6210：\u5c06\u81ea\u52a8\u5316\u5d4c\u5165 Windows OS，\u901a\u8fc7\u5185\u7701\u3001API \u8bbf\u95ee\u548c\u7ec6\u7c92\u5ea6\u63a7\u5236\u5b9e\u73b0\u7cfb\u7edf\u7ea7\u7f16\u6392\u3002<\/p>\n<\/li>\n
- \n
\u7edf\u4e00 GUI-API \u52a8\u4f5c\u5c42：\u6865\u63a5\u4f20\u7edf GUI \u4ea4\u4e92\u4e0e\u5e94\u7528\u539f\u751f API，\u5b9e\u73b0\u7075\u6d3b\u3001\u9ad8\u6548\u3001\u7a33\u5065\u7684\u81ea\u52a8\u5316\u3002<\/p>\n<\/li>\n
- \n
\u6df7\u5408\u63a7\u5236\u68c0\u6d4b：\u878d\u5408 UIA \u5143\u6570\u636e\u4e0e\u89c6\u89c9\u5b9a\u4f4d，\u5728\u975e\u6807\u51c6\u754c\u9762\u4e2d\u5b9e\u73b0\u53ef\u9760\u63a7\u5236\u5b9a\u4f4d\u3002<\/p>\n<\/li>\n
- \n
\u6301\u7eed\u77e5\u8bc6\u96c6\u6210：\u68c0\u7d22\u589e\u5f3a\u8bb0\u5fc6\u6574\u5408\u6587\u6863\u4e0e\u6267\u884c\u65e5\u5fd7，\u4ee3\u7406\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u5373\u53ef\u81ea\u4e3b\u6539\u8fdb\u3002<\/p>\n<\/li>\n
- \n
\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c：\u5229\u7528 UI \u72b6\u6001\u4fe1\u53f7\u63d0\u524d\u9884\u6d4b\u548c\u9a8c\u8bc1\u52a8\u4f5c\u5e8f\u5217，\u5927\u5e45\u964d\u4f4e LLM \u8c03\u7528\u5f00\u9500\u3002<\/p>\n<\/li>\n
- \n
\u975e\u7834\u574f\u6027 UX：\u5d4c\u5957\u865a\u62df\u684c\u9762\u73af\u5883\u652f\u6301\u81ea\u52a8\u5316\u4e0e\u7528\u6237\u6d3b\u52a8\u5e76\u884c，\u907f\u514d\u5e72\u6270\u3002<\/p>\n<\/li>\n
- \n
\u5168\u9762\u8bc4\u4f30：20+ \u771f\u5b9e Windows \u5e94\u7528\u9a8c\u8bc1，\u6210\u529f\u7387\u3001\u6548\u7387\u548c\u53ef\u7528\u6027\u5747\u4f18\u4e8e SOTA CUA\u3002<\/p>\n<\/li>\n
UFO2 \u901a\u8fc7\u5c06\u684c\u9762\u81ea\u52a8\u5316\u4ece\u201cGUI \u811a\u672c\u201d\u8303\u5f0f\u8f6c\u53d8\u4e3a\u201c\u7ed3\u6784\u5316\u3001\u53ef\u7f16\u7a0b\u7684\u5e94\u7528\u63a7\u5236\u201d，\u6784\u5efa\u4e86\u4e00\u4e2a\u6df1\u5ea6\u96c6\u6210 Windows OS \u7684\u591a\u667a\u80fd\u4f53 AgentOS，\u5728\u6210\u529f\u7387\u3001\u6548\u7387\u548c\u7528\u6237\u4f53\u9a8c\u4e0a\u5168\u9762\u8d85\u8d8a\u73b0\u6709\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406，\u4e3a\u53ef\u9760\u3001\u53ef\u6269\u5c55\u7684\u771f\u5b9e\u4e16\u754c\u684c\u9762\u81ea\u52a8\u5316\u5f00\u8f9f\u4e86 OS \u539f\u751f\u8def\u5f84\u3002\u8fd9\u91cc\u662f\u81ea\u5df1\u7684\u8bba\u6587\u9605\u8bfb\u8bb0\u5f55，\u611f\u5174\u8da3\u7684\u8bdd\u53ef\u4ee5\u53c2\u8003\u4e00\u4e0b，\u5982\u679c\u9700\u8981\u9605\u8bfb\u539f\u6587\u7684\u8bdd\u53ef\u4ee5\u770b\u8fd9\u91cc，\u5982\u4e0b\u6240\u793a：<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002647-6ac834c75fda4.png\")
<\/p>\n
\u9879\u76ee\u5730\u5740\u5728\u8fd9\u91cc，\u5982\u4e0b\u6240\u793a：<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002648-6ac834c840ae0.png\")
<\/p>\n
\u6458\u8981<\/h3>\n
\u8fd1\u671f\u7531\u591a\u6a21\u6001\u5927\u8bed\u8a00\u6a21\u578b（LLM）\u9a71\u52a8\u7684\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）\u4e3a\u901a\u8fc7\u81ea\u7136\u8bed\u8a00\u81ea\u52a8\u5316\u590d\u6742\u684c\u9762\u5de5\u4f5c\u6d41\u63d0\u4f9b\u4e86\u6709\u524d\u666f\u7684\u65b9\u5411\u3002\u7136\u800c，\u5927\u591a\u6570\u73b0\u6709CUA\u4ecd\u505c\u7559\u5728\u6982\u5ff5\u539f\u578b\u9636\u6bb5，\u53d7\u9650\u4e8e\u6d45\u5c42\u7684\u64cd\u4f5c\u7cfb\u7edf\u96c6\u6210\u3001\u8106\u5f31\u7684\u57fa\u4e8e\u622a\u56fe\u7684\u4ea4\u4e92\u4ee5\u53ca\u7834\u574f\u6027\u7684\u6267\u884c\u65b9\u5f0f\u3002<\/p>\n
\u6211\u4eec\u63d0\u51faUFO2，\u4e00\u79cd\u9762\u5411Windows\u684c\u9762\u7684\u591a\u4ee3\u7406AgentOS，\u5c06CUA\u63d0\u5347\u4e3a\u5b9e\u7528\u7684\u7cfb\u7edf\u7ea7\u81ea\u52a8\u5316\u65b9\u6848\u3002UFO2\u5177\u6709\u4e00\u4e2a\u96c6\u4e2d\u5f0f\u7684HostAgent\u7528\u4e8e\u4efb\u52a1\u5206\u89e3\u4e0e\u534f\u8c03，\u4ee5\u53ca\u4e00\u7ec4\u5e94\u7528\u4e13\u7528\u7684AppAgent，\u914d\u5907\u539f\u751fAPI\u3001\u9886\u57df\u7279\u5b9a\u77e5\u8bc6\u548c\u7edf\u4e00\u7684GUI-API\u52a8\u4f5c\u5c42\u3002\u8be5\u67b6\u6784\u5728\u4fdd\u6301\u6a21\u5757\u5316\u548c\u53ef\u6269\u5c55\u6027\u7684\u540c\u65f6，\u5b9e\u73b0\u4e86\u7a33\u5065\u7684\u4efb\u52a1\u6267\u884c\u3002\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u6d41\u6c34\u7ebf\u878d\u5408\u4e86Windows UI Automation（UIA）\u4e0e\u57fa\u4e8e\u89c6\u89c9\u7684\u89e3\u6790，\u4ee5\u652f\u6301\u591a\u6837\u5316\u7684\u754c\u9762\u98ce\u683c\u3002\u901a\u8fc7\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u89c4\u5212\u8fdb\u4e00\u6b65\u63d0\u5347\u4e86\u8fd0\u884c\u65f6\u6548\u7387，\u51cf\u5c11\u4e86\u6bcf\u6b65LLM\u5f00\u9500\u3002\u6700\u540e，\u753b\u4e2d\u753b（PiP）\u754c\u9762\u652f\u6301\u5728\u9694\u79bb\u7684\u865a\u62df\u684c\u9762\u5185\u8fdb\u884c\u81ea\u52a8\u5316，\u4f7f\u4ee3\u7406\u548c\u7528\u6237\u53ef\u4ee5\u5e76\u53d1\u64cd\u4f5c\u800c\u4e92\u4e0d\u5e72\u6270\u3002<\/p>\n
\u6211\u4eec\u572820\u591a\u4e2a\u771f\u5b9eWindows\u5e94\u7528\u7a0b\u5e8f\u4e0a\u8bc4\u4f30\u4e86UFO2，\u8bc1\u660e\u5176\u76f8\u8f83\u4e8e\u5148\u524dCUA\u5728\u7a33\u5065\u6027\u548c\u6267\u884c\u51c6\u786e\u6027\u65b9\u9762\u6709\u663e\u8457\u63d0\u5347\u3002\u7ed3\u679c\u8868\u660e，\u6df1\u5ea6\u64cd\u4f5c\u7cfb\u7edf\u96c6\u6210\u5f00\u8f9f\u4e86\u901a\u5f80\u53ef\u9760\u3001\u7528\u6237\u5bf9\u9f50\u7684\u684c\u9762\u81ea\u52a8\u5316\u7684\u53ef\u6269\u5c55\u8def\u5f84\u3002<\/p>\n
\u5173\u952e\u8bcd：\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406\u3001\u5927\u8bed\u8a00\u6a21\u578b\u3001\u684c\u9762\u81ea\u52a8\u5316\u3001Windows\u7cfb\u7edf<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002648-6ac834c8c591e.png\")
<\/p>\n
\u56fe1. (a) \u73b0\u6709CUA\u4e0e(b)\u684c\u9762AgentOS UFO2\u7684\u5bf9\u6bd4\u3002<\/p>\n
1 \u5f15\u8a00<\/h3>\n
\u684c\u9762\u5e94\u7528\u7a0b\u5e8f\u81ea\u52a8\u5316\u957f\u671f\u4ee5\u6765\u4e00\u76f4\u662f\u63d0\u9ad8\u5de5\u4f5c\u6548\u7387\u7684\u6838\u5fc3\u3002\u5546\u4e1a\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316（RPA）\u5e73\u53f0\u5982UiPath [1]\u3001Automation Anywhere [2]\u548cMicrosoft Power Automate [3]\u4f53\u73b0\u4e86\u8fd9\u4e00\u8d8b\u52bf，\u5b83\u4eec\u4f7f\u7528\u9884\u5b9a\u4e49\u811a\u672c\u901a\u8fc7\u56fe\u5f62\u7528\u6237\u754c\u9762（GUI）[4, 5]\u590d\u5236\u91cd\u590d\u7684\u7528\u6237\u4ea4\u4e92\u3002\u7136\u800c，\u8fd9\u4e9b\u57fa\u4e8e\u811a\u672c\u7684\u65b9\u6cd5\u5728\u52a8\u6001\u3001\u6301\u7eed\u53d8\u5316\u7684\u73af\u5883\u4e2d\u5f80\u5f80\u8868\u73b0\u8106\u5f31[6]\u3002\u5fae\u5c0f\u7684\u754c\u9762\u53d8\u5316\u5c31\u53ef\u80fd\u7834\u574f\u5e95\u5c42\u81ea\u52a8\u5316\u811a\u672c，\u9700\u8981\u4eba\u5de5\u66f4\u65b0\u548c\u5927\u91cf\u7ef4\u62a4\u5de5\u4f5c\u3002\u968f\u7740\u8f6f\u4ef6\u751f\u6001\u7cfb\u7edf\u65e5\u76ca\u590d\u6742\u548c\u5f02\u6784，\u57fa\u4e8e\u811a\u672c\u7684\u81ea\u52a8\u5316\u8106\u5f31\u6027\u4e25\u91cd\u9650\u5236\u4e86\u53ef\u6269\u5c55\u6027\u3001\u9002\u5e94\u6027\u548c\u5b9e\u7528\u6027\u3002<\/p>\n
\u8fd1\u5e74\u6765，\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）[7]\u4f5c\u4e3a\u4e00\u79cd\u6709\u524d\u666f\u7684\u66ff\u4ee3\u65b9\u6848\u5d2d\u9732\u5934\u89d2\u3002\u8fd9\u4e9b\u7cfb\u7edf\u5229\u7528\u5148\u8fdb\u7684\u591a\u6a21\u6001\u5927\u8bed\u8a00\u6a21\u578b（LLM）[8, 9]\u6765\u89e3\u91ca\u591a\u6837\u5316\u7684\u7528\u6237\u6307\u4ee4\u3001\u611f\u77e5GUI\u754c\u9762\u5e76\u751f\u6210\u81ea\u9002\u5e94\u52a8\u4f5c（\u5982\u9f20\u6807\u70b9\u51fb\u3001\u952e\u76d8\u8f93\u5165），\u65e0\u9700\u56fa\u5b9a\u811a\u672c[7]\u3002\u65e9\u671f\u539f\u578b\u5982UFO [10]\u3001Anthropic Claude [11]\u548cOpenAI Operator [12]\u8868\u660e，\u6b64\u7c7bLLM\u9a71\u52a8\u7684\u4ee3\u7406\u80fd\u591f\u7a33\u5065\u5730\u81ea\u52a8\u5316\u4f20\u7edfRPA\u6d41\u6c34\u7ebf\u96be\u4ee5\u5904\u7406\u7684\u590d\u6742\u6216\u6a21\u7cca\u4efb\u52a1\u3002\u7136\u800c，\u5c3d\u7ba1\u53d6\u5f97\u4e86\u8fd9\u4e9b\u8fdb\u5c55，\u5f53\u524d\u7684CUA\u5b9e\u73b0\u4ecd\u4e3b\u8981\u505c\u7559\u5728\u6982\u5ff5\u9636\u6bb5：\u5b83\u4eec\u4e3b\u8981\u4f18\u5316\u89c6\u89c9\u5b9a\u4f4d\u6216\u8bed\u8a00\u63a8\u7406[12-16]，\u5374\u5f88\u5c11\u5173\u6ce8\u4e0e\u684c\u9762\u64cd\u4f5c\u7cfb\u7edf（OS）\u548c\u5e94\u7528\u7a0b\u5e8f\u5185\u90e8\u7684\u7cfb\u7edf\u7ea7\u96c6\u6210（\u56fe1(a)）\u3002<\/p>\n
\u4f9d\u8d56\u539f\u59cbGUI\u622a\u56fe\u548c\u6a21\u62df\u8f93\u5165\u4e8b\u4ef6\u5b58\u5728\u82e5\u5e72\u7f3a\u70b9\u3002\u9996\u5148，\u7eaf\u89c6\u89c9\u8f93\u5165\u53ef\u80fd\u566a\u58f0\u5927\u4e14\u5197\u4f59，\u589e\u52a0LLM\u7684\u8ba4\u77e5\u8d1f\u62c5\u5e76\u964d\u4f4e\u6267\u884c\u6548\u7387[17]\u3002\u5176\u6b21，\u73b0\u6709CUA\u5f88\u5c11\u5229\u7528\u64cd\u4f5c\u7cfb\u7edf\u7684\u539f\u751f\u65e0\u969c\u788d\u63a5\u53e3\u3001\u5e94\u7528\u7ea7API\u6216\u8be6\u7ec6\u7684\u8fdb\u7a0b\u72b6\u6001\u2014\u2014\u8fd9\u662f\u663e\u8457\u63d0\u5347\u51b3\u7b56\u51c6\u786e\u6027\u3001\u964d\u4f4e\u5ef6\u8fdf\u548c\u5b9e\u73b0\u66f4\u53ef\u9760\u6267\u884c\u7684\u9519\u5931\u673a\u4f1a\u3002\u6700\u540e，\u5728\u4e3b\u7528\u6237\u684c\u9762\u4e0a\u6a21\u62df\u9f20\u6807\u548c\u952e\u76d8\u4e8b\u4ef6\u4f1a\u5728\u81ea\u52a8\u5316\u671f\u95f4\u5c06\u7528\u6237\u9501\u5b9a\u5728\u5916，\u9020\u6210\u7cdf\u7cd5\u7684\u7528\u6237\u4f53\u9a8c（UX）\u3002\u8fd9\u4e9b\u9650\u5236\u5fc5\u987b\u5728CUA\u4ece\u6709\u8da3\u7684\u539f\u578b\u6210\u719f\u4e3a\u7a33\u5065\u3001\u53ef\u6269\u5c55\u7684\u771f\u5b9e\u4e16\u754c\u684c\u9762\u81ea\u52a8\u5316\u89e3\u51b3\u65b9\u6848\u4e4b\u524d\u5f97\u5230\u89e3\u51b3，\u8fd9\u5f15\u51fa\u4e86\u6211\u4eec\u7684\u6838\u5fc3\u7814\u7a76\u95ee\u9898：<\/p>\n
\u5982\u4f55\u6784\u5efa\u4e00\u4e2a\u7a33\u5065\u3001\u6df1\u5ea6\u96c6\u6210\u7684\u684c\u9762\u81ea\u52a8\u5316\u7cfb\u7edf，\u80fd\u591f\u7075\u6d3b\u9002\u5e94\u4e0d\u65ad\u6f14\u8fdb\u7684\u754c\u9762，\u53ef\u9760\u5730\u7f16\u6392\u591a\u6837\u5316\u7684\u5e94\u7528\u7a0b\u5e8f，\u5e76\u6700\u5927\u9650\u5ea6\u5730\u51cf\u5c11\u5bf9\u7528\u6237\u5de5\u4f5c\u6d41\u7684\u5e72\u6270？<\/p>\n
\u4e3a\u6b64，\u6211\u4eec\u63d0\u51faUFO\u00b2，\u4e00\u79cd\u65b0\u7684Windows AgentOS，\u5c06\u684c\u9762\u81ea\u52a8\u5316\u91cd\u65b0\u6784\u60f3\u4e3a\u4e00\u7b49\u7684\u64cd\u4f5c\u7cfb\u7edf\u62bd\u8c61\u3002\u4e0e\u5148\u524d\u5c06\u81ea\u52a8\u5316\u89c6\u4e3a\u622a\u56fe\u548c\u6a21\u62df\u8f93\u5165\u4e8b\u4ef6\u4e4b\u4e0a\u7684\u4e00\u5c42CUA\u4e0d\u540c，UFO\u00b2\u88ab\u67b6\u6784\u4e3a\u4e00\u4e2a\u6df1\u5ea6\u96c6\u6210\u7684\u591a\u4ee3\u7406\u6267\u884c\u73af\u5883\u2014\u2014\u5c06\u64cd\u4f5c\u7cfb\u7edf\u80fd\u529b\u3001\u5e94\u7528\u7279\u5b9a\u7684\u5185\u7701\u548c\u9886\u57df\u611f\u77e5\u89c4\u5212\u5d4c\u5165\u5230\u6838\u5fc3\u81ea\u52a8\u5316\u5faa\u73af\u4e2d，\u5982\u56fe1(b)\u6240\u793a\u3002<\/p>\n
\u5728\u5176\u57fa\u7840\u4e0a，UFO\u00b2\u4e3a\u81ea\u7136\u8bed\u8a00\u9a71\u52a8\u7684\u81ea\u52a8\u5316\u63d0\u4f9b\u4e86\u6a21\u5757\u5316\u7684\u7cfb\u7edf\u7ea7\u57fa\u5ea7\u3002\u4e00\u4e2a\u96c6\u4e2d\u5f0f\u534f\u8c03\u5668HostAgent\u89e3\u91ca\u7528\u6237\u6307\u4ee4，\u5c06\u5176\u5206\u89e3\u4e3a\u8bed\u4e49\u4e0a\u6709\u610f\u4e49\u7684\u5b50\u4efb\u52a1，\u5e76\u52a8\u6001\u5206\u6d3e\u6267\u884c\u7ed9\u4e13\u95e8\u7684AppAgent\u2014\u2014\u4e3a\u7279\u5b9aWindows\u5e94\u7528\u7a0b\u5e8f\u91cf\u8eab\u5b9a\u5236\u7684\u4e13\u5bb6\u6a21\u5757\u3002\u6bcf\u4e2aAppAgent\u914d\u5907\u53ef\u6269\u5c55\u7684\u5e94\u7528\u7279\u5b9aAPI\u5de5\u5177\u7bb1\u3001\u6df7\u5408GUI-API\u52a8\u4f5c\u63a5\u53e3\u4ee5\u53ca\u5173\u4e8e\u5e94\u7528\u7a0b\u5e8f\u80fd\u529b\u548c\u8bed\u4e49\u7684\u96c6\u6210\u77e5\u8bc6\u3002\u8be5\u67b6\u6784\u652f\u6301\u8de8\u591a\u4e2a\u5e76\u53d1\u5e94\u7528\u7a0b\u5e8f\u7684\u7a33\u5065\u7f16\u6392，\u652f\u6301\u8de8\u8d8aExcel\u3001Outlook\u3001Edge\u7b49\u7684\u5de5\u4f5c\u6d41\u3002<\/p>\n
\u4e3a\u4e86\u5728\u5168\u90e8\u5e94\u7528UI\u8303\u56f4\u5185\u5b9e\u73b0\u53ef\u9760\u6267\u884c，UFO\u00b2\u5f15\u5165\u4e86\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u6d41\u6c34\u7ebf，\u5c06Windows UI Automation（UIA）API\u4e0e\u5148\u8fdb\u7684\u89c6\u89c9\u5b9a\u4f4d\u6a21\u578b[18]\u76f8\u7ed3\u5408\u3002\u8fd9\u5141\u8bb8\u4ee3\u7406\u5185\u7701\u548c\u64cd\u4f5c\u6807\u51c6\u53ca\u81ea\u5b9a\u4e49UI\u7ec4\u4ef6，\u5f25\u5408\u7ed3\u6784\u5316\u65e0\u969c\u788d\u6811\u4e0e\u50cf\u7d20\u7ea7\u611f\u77e5\u4e4b\u95f4\u7684\u5dee\u8ddd\u3002\u6b64\u5916，UFO\u00b2\u6301\u7eed\u5c06\u5916\u90e8\u6587\u6863\u3001\u8865\u4e01\u8bf4\u660e\u548c\u8fc7\u5f80\u6267\u884c\u8f68\u8ff9\u6574\u5408\u5230\u7edf\u4e00\u7684\u5411\u91cf\u5316\u8bb0\u5fc6\u5c42\u4e2d，\u4f7f\u6bcf\u4e2aAppAgent\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u5373\u53ef\u9010\u6b65\u6539\u8fdb\u5176\u884c\u4e3a\u3002<\/p>\n
\u5728\u4ea4\u4e92\u5c42，UFO\u00b2\u66b4\u9732\u4e86\u7edf\u4e00\u7684GUI-API\u6267\u884c\u6a21\u578b，\u4ee3\u7406\u53ef\u4ee5\u65e0\u7f1d\u5730\u5c06\u4f20\u7edfGUI\u52a8\u4f5c（\u5982\u70b9\u51fb\u3001\u6309\u952e）\u4e0e\u539f\u751fWindows\u6216\u5e94\u7528\u7279\u5b9aAPI\u76f8\u7ed3\u5408\u3002\u8fd9\u79cd\u6df7\u5408\u65b9\u6cd5\u63d0\u9ad8\u4e86\u6267\u884c\u6548\u7387，\u964d\u4f4e\u4e86\u5bf9UI\u5e03\u5c40\u53d8\u5316\u7684\u8106\u5f31\u6027，\u5e76\u652f\u6301\u66f4\u5177\u8868\u73b0\u529b\u7684\u9ad8\u7ea7\u64cd\u4f5c\u3002\u4e3a\u4e86\u8fdb\u4e00\u6b65\u51cf\u5c11\u57fa\u4e8eLLM\u7684\u52a8\u4f5c\u89c4\u5212\u7684\u5ef6\u8fdf，UFO\u00b2\u5f15\u5165\u4e86\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u5f15\u64ce，\u5728\u5355\u6b21\u63a8\u7406\u6b65\u9aa4\u4e2d\u901a\u8fc7\u8f7b\u91cf\u7ea7\u63a7\u5236\u72b6\u6001\u68c0\u67e5\u4e3b\u52a8\u63a8\u65ad\u548c\u9a8c\u8bc1\u52a8\u4f5c\u5e8f\u5217\u2014\u2014\u5728\u4e0d\u5f71\u54cd\u6b63\u786e\u6027\u7684\u60c5\u51b5\u4e0b\u5927\u5e45\u51cf\u5c11\u63a8\u7406\u5f00\u9500\u3002<\/p>\n
\u6700\u540e，\u4e3a\u4e86\u786e\u4fdd\u5b9e\u7528\u4e14\u975e\u4fb5\u5165\u5f0f\u7684\u7528\u6237\u4f53\u9a8c，UFO\u00b2\u5f15\u5165\u4e86\u65b0\u9896\u7684\u753b\u4e2d\u753b（PiP）\u754c\u9762：\u4e00\u4e2a\u5b89\u5168\u7684\u5d4c\u5957\u684c\u9762\u73af\u5883，\u4ee3\u7406\u53ef\u4ee5\u5728\u7528\u6237\u4e3b\u4f1a\u8bdd\u4e4b\u5916\u72ec\u7acb\u6267\u884c\u3002PiP\u6784\u5efa\u5728Windows\u539f\u751f\u8fdc\u7a0b\u684c\u9762\u56de\u73af\u57fa\u7840\u8bbe\u65bd\u4e4b\u4e0a，\u5b9e\u73b0\u4e86\u65e0\u7f1d\u7684\u5e76\u6392\u7528\u6237-\u4ee3\u7406\u591a\u4efb\u52a1\u5904\u7406，\u4e0d\u5e72\u6270\u7528\u6237\u4e3b\u684c\u9762，\u89e3\u51b3\u4e86\u73b0\u6709CUA\u6700\u6301\u4e45\u7684UX\u9650\u5236\u4e4b\u4e00\u3002<\/p>\n
\u603b\u4e4b，\u8fd9\u4e9b\u8bbe\u8ba1\u539f\u5219\u4f7fUFO\u00b2\u4e0d\u4ec5\u4ec5\u662f\u4e00\u4e2a\u66f4\u667a\u80fd\u7684\u4ee3\u7406，\u800c\u662f\u81ea\u52a8\u5316\u7684\u65b0OS\u7ea7\u62bd\u8c61\u2014\u2014\u5c06\u684c\u9762\u5de5\u4f5c\u6d41\u8f6c\u5316\u4e3a\u53ef\u7f16\u7a0b\u3001\u53ef\u7ec4\u5408\u548c\u7a33\u5065\u7684\u5b9e\u4f53\u3002\u7efc\u4e0a\u6240\u8ff0，\u672c\u6587\u505a\u51fa\u4ee5\u4e0b\u8d21\u732e：<\/p>\n
\u6df1\u5ea6OS\u96c6\u6210：\u6211\u4eec\u8bbe\u8ba1\u5e76\u5b9e\u73b0\u4e86UFO\u00b2，\u4e00\u4e2a\u591a\u4ee3\u7406AgentOS，\u6df1\u5ea6\u5d4c\u5165Windows OS，\u901a\u8fc7\u5185\u7701\u3001API\u8bbf\u95ee\u548c\u7ec6\u7c92\u5ea6\u6267\u884c\u63a7\u5236\u6765\u7f16\u6392\u684c\u9762\u5e94\u7528\u7a0b\u5e8f\u3002 \u7edf\u4e00GUI-API\u52a8\u4f5c\u5c42：\u6211\u4eec\u63d0\u51fa\u4e86\u6df7\u5408\u52a8\u4f5c\u63a5\u53e3，\u6865\u63a5\u4f20\u7edfGUI\u4ea4\u4e92\u4e0e\u5e94\u7528\u539f\u751fAPI\u8c03\u7528，\u5b9e\u73b0\u7075\u6d3b\u3001\u9ad8\u6548\u548c\u7a33\u5065\u7684\u81ea\u52a8\u5316\u3002 \u6df7\u5408\u63a7\u5236\u68c0\u6d4b：\u6211\u4eec\u5f15\u5165\u4e86\u878d\u5408\u6d41\u6c34\u7ebf，\u7ed3\u5408UIA\u5143\u6570\u636e\u4e0e\u57fa\u4e8e\u89c6\u89c9\u7684\u68c0\u6d4b，\u5373\u4f7f\u5728\u975e\u6807\u51c6\u754c\u9762\u4e2d\u4e5f\u80fd\u5b9e\u73b0\u53ef\u9760\u7684\u63a7\u5236\u5b9a\u4f4d\u3002 \u6301\u7eed\u77e5\u8bc6\u96c6\u6210：\u6211\u4eec\u6784\u5efa\u4e86\u68c0\u7d22\u589e\u5f3a\u8bb0\u5fc6，\u6574\u5408\u6587\u6863\u548c\u5386\u53f2\u6267\u884c\u65e5\u5fd7，\u4f7f\u4ee3\u7406\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u5373\u53ef\u968f\u65f6\u95f4\u81ea\u4e3b\u6539\u8fdb\u3002 \u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c：\u6211\u4eec\u901a\u8fc7\u4f7f\u7528UI\u72b6\u6001\u4fe1\u53f7\u63d0\u524d\u9884\u6d4b\u548c\u9a8c\u8bc1\u52a8\u4f5c\u5e8f\u5217，\u51cf\u5c11LLM\u8c03\u7528\u5f00\u9500\u3002 \u975e\u7834\u574f\u6027UX：\u6211\u4eec\u5f00\u53d1\u4e86\u5d4c\u5957\u865a\u62df\u684c\u9762\u73af\u5883，\u5141\u8bb8\u81ea\u52a8\u5316\u4e0e\u7528\u6237\u6d3b\u52a8\u5e76\u884c\u8fdb\u884c，\u907f\u514d\u5e72\u6270\u5e76\u63d0\u9ad8\u53ef\u91c7\u7528\u6027\u3002 \u5168\u9762\u8bc4\u4f30：\u6211\u4eec\u572820\u591a\u4e2a\u771f\u5b9eWindows\u5e94\u7528\u7a0b\u5e8f\u4e0a\u8bc4\u4f30UFO2，\u663e\u793a\u5728\u6210\u529f\u7387\u3001\u6267\u884c\u6548\u7387\u548c\u53ef\u7528\u6027\u65b9\u9762\u76f8\u8f83\u4e8e\u6700\u5148\u8fdb\u7684CUA（\u5982Operator）\u6301\u7eed\u6539\u8fdb\u3002<\/p>\n
\u603b\u4f53\u800c\u8a00，UFO2\u901a\u8fc7\u5c06\u8303\u5f0f\u4eceGUI\u811a\u672c\u8f6c\u5411\u7ed3\u6784\u5316\u3001\u53ef\u7f16\u7a0b\u7684\u5e94\u7528\u7a0b\u5e8f\u63a7\u5236，\u63a8\u8fdb\u4e86OS\u539f\u751f\u81ea\u52a8\u5316\u7684\u613f\u666f\u3002\u5373\u4f7f\u4e0eGPT-4o\u7b49\u901a\u7528\u6a21\u578b\u914d\u5bf9，UFO2\u4e5f\u4ee5\u8d85\u8fc710%\u7684\u4f18\u52bf\u8d85\u8d8a\u4e13\u7528CUA，\u7a81\u663e\u4e86\u7cfb\u7edf\u7ea7\u96c6\u6210\u548c\u67b6\u6784\u8bbe\u8ba1\u7684\u53d8\u9769\u6027\u5f71\u54cd\u3002<\/p>\n
2 \u80cc\u666f<\/h3>\n2.1 \u4f20\u7edf\u684c\u9762\u81ea\u52a8\u5316\u7684\u8106\u5f31\u6027<\/h4>\n
\u51e0\u5341\u5e74\u6765，\u684c\u9762\u81ea\u52a8\u5316\u4e00\u76f4\u4f9d\u8d56\u8106\u5f31\u7684\u6280\u672f\u6765\u590d\u5236\u4eba\u7c7b\u4e0e\u57fa\u4e8eGUI\u7684\u5e94\u7528\u7a0b\u5e8f\u7684\u4ea4\u4e92\u3002\u5546\u4e1aRPA\u5de5\u5177\u2014\u2014\u5982UiPath [1]\u3001Automation Anywhere [2]\u548cMicrosoft Power Automate [3]\u2014\u2014\u901a\u8fc7\u8bb0\u5f55\u548c\u56de\u653e\u9f20\u6807\u79fb\u52a8\u3001\u6309\u952e\u6216\u57fa\u4e8e\u89c4\u5219\u7684\u811a\u672c\u6765\u8fd0\u4f5c\u3002\u8fd9\u4e9b\u7cfb\u7edf\u4e25\u91cd\u4f9d\u8d56\u8868\u9762\u7ea7GUI\u7ebf\u7d22（\u5982\u50cf\u7d20\u533a\u57df\u3001\u7a97\u53e3\u6807\u9898），\u5bf9\u5e94\u7528\u7a0b\u5e8f\u72b6\u6001\u51e0\u4e4e\u6ca1\u6709\u5185\u7701\u80fd\u529b\u3002<\/p>\n
\u867d\u7136\u5728\u4f01\u4e1a\u73af\u5883\u4e2d\u5e7f\u6cdb\u90e8\u7f72，\u4f20\u7edfRPA\u7cfb\u7edf\u8868\u73b0\u51fa\u8f83\u5dee\u7684\u7a33\u5065\u6027\u548c\u53ef\u6269\u5c55\u6027[19]\u3002\u5373\u4f7f\u662f\u5fae\u5c0f\u7684UI\u66f4\u65b0\u2014\u2014\u5982\u91cd\u65b0\u6392\u5217\u6309\u94ae\u6216\u91cd\u547d\u540d\u83dc\u5355\u2014\u2014\u4e5f\u53ef\u80fd\u6084\u65e0\u58f0\u606f\u5730\u7834\u574f\u81ea\u52a8\u5316\u811a\u672c\u3002\u7ef4\u62a4\u6b63\u786e\u6027\u9700\u8981\u9891\u7e41\u7684\u4eba\u5de5\u5e72\u9884\u3002\u6b64\u5916，\u8fd9\u4e9b\u5de5\u5177\u7f3a\u4e4f\u5bf9\u5e94\u7528\u7a0b\u5e8f\u5de5\u4f5c\u6d41\u7684\u8bed\u4e49\u7406\u89e3，\u65e0\u6cd5\u63a8\u7406\u6216\u9002\u5e94\u65b0\u4efb\u52a1\u3002\u56e0\u6b64，RPA\u5de5\u5177\u4ecd\u7136\u5c40\u9650\u4e8e\u7a33\u5b9a\u73af\u5883\u4e2d\u7684\u72ed\u7a84\u3001\u91cd\u590d\u6027\u5de5\u4f5c\u6d41，\u8fdc\u975e\u901a\u7528\u81ea\u52a8\u5316\u3002<\/p>\n
2.2 \u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406\u7684\u5174\u8d77<\/h4>\n
\u5927\u8bed\u8a00\u6a21\u578b（LLM）\u548c\u591a\u6a21\u6001\u611f\u77e5\u7684\u6700\u65b0\u8fdb\u5c55\u50ac\u751f\u4e86\u4e00\u7c7b\u65b0\u7684\u81ea\u52a8\u5316\u7cfb\u7edf，\u79f0\u4e3a\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）[7-9]\u3002CUA\u65e8\u5728\u901a\u8fc7\u5229\u7528LLM\u89e3\u91ca\u7528\u6237\u6307\u4ee4\u3001\u611f\u77e5GUI\u5e03\u5c40\u5e76\u5408\u6210\u70b9\u51fb\u548c\u6309\u952e\u7b49\u52a8\u4f5c，\u8de8\u5e94\u7528\u7a0b\u5e8f\u548c\u4efb\u52a1\u8fdb\u884c\u6cdb\u5316\u3002<\/p>\n
\u65e9\u671fCUA\u5982UFO [10]\u8bc1\u660e\u4e86\u591a\u6a21\u6001\u6a21\u578b（\u5982GPT-4V [20]）\u53ef\u4ee5\u5c06\u81ea\u7136\u8bed\u8a00\u8bf7\u6c42\u6620\u5c04\u4e3aGUI\u52a8\u4f5c\u5e8f\u5217，\u65e0\u9700\u624b\u5de5\u7f16\u5199\u811a\u672c\u3002\u6700\u8fd1\u7684\u884c\u4e1a\u539f\u578b，\u5305\u62ecClaude3.5（Computer Use）[11]\u548cOpenAI Operator [12]，\u8fdb\u4e00\u6b65\u63a8\u8fdb\u4e86\u8fb9\u754c，\u5728\u591a\u4e2a\u5e94\u7528\u7a0b\u5e8f\u4e0a\u6267\u884c\u771f\u5b9e\u7684\u684c\u9762\u5de5\u4f5c\u6d41\u3002<\/p>\n
\u8fd9\u4e9bCUA\u4ee3\u8868\u4e86\u4ece\u9759\u6001RPA\u811a\u672c\u5230\u81ea\u9002\u5e94\u3001\u901a\u7528\u81ea\u52a8\u5316\u7684\u6709\u524d\u666f\u7684\u6f14\u8fdb\u3002\u7136\u800c，\u5c3d\u7ba1\u5176\u7cbe\u5bc6\u590d\u6742，\u5f53\u524dCUA\u5728\u5f88\u5927\u7a0b\u5ea6\u4e0a\u4ecd\u662f\u7814\u7a76\u539f\u578b，\u53d7\u9650\u4e8e\u963b\u788d\u5b9e\u9645\u90e8\u7f72\u7684\u67b6\u6784\u548c\u7cfb\u7edf\u7ea7\u9650\u5236\u3002<\/p>\n
2.3 CUA\u4e2d\u7684\u7cfb\u7edf\u6311\u6218<\/h4>\n
\u5f53\u524dCUA\u5728\u4e09\u4e2a\u57fa\u672c\u65b9\u9762\u5b58\u5728\u4e0d\u8db3，\u6211\u4eec\u8ba4\u4e3a\u8fd9\u6e90\u4e8e\u7f3a\u5931\u7684\u64cd\u4f5c\u7cfb\u7edf\u62bd\u8c61：<\/p>\n
（1）\u7f3a\u4e4fOS\u7ea7\u96c6\u6210\u3002 \u5927\u591a\u6570CUA\u901a\u8fc7\u622a\u56fe\u548c\u4f4e\u7ea7\u8f93\u5165\u4eff\u771f（\u9f20\u6807\u548c\u952e\u76d8\u4e8b\u4ef6）\u4e0e\u7cfb\u7edf\u4ea4\u4e92\u3002\u5b83\u4eec\u5ffd\u7565\u4e86\u4e30\u5bcc\u7684\u7cfb\u7edf\u63a5\u53e3，\u5982\u65e0\u969c\u788dAPI\u3001\u5e94\u7528\u7a0b\u5e8f\u8fdb\u7a0b\u72b6\u6001\u548c\u539f\u751f\u8fdb\u7a0b\u95f4\u901a\u4fe1\u673a\u5236（\u5982shell\u547d\u4ee4\u3001COM\u63a5\u53e3[21]）\u3002\u8fd9\u79cd\u80a4\u6d45\u7684\u4ea4\u4e92\u6a21\u578b\u9650\u5236\u4e86\u53ef\u9760\u6027\u548c\u6548\u7387\u2014\u2014\u6bcf\u4e2a\u52a8\u4f5c\u90fd\u5fc5\u987b\u4ece\u50cf\u7d20\u63a8\u65ad，\u800c\u975e\u4ece\u7ed3\u6784\u5316\u72b6\u6001\u63a8\u65ad\u3002<\/p>\n
（2）\u7f3a\u4e4f\u5e94\u7528\u7a0b\u5e8f\u5185\u7701\u3002 CUA\u901a\u5e38\u4f5c\u4e3a\u901a\u624d\u8fd0\u884c，\u5bf9\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9a\u80fd\u529b\u7684\u611f\u77e5\u6709\u9650\u3002\u5b83\u4eec\u7edf\u4e00\u5bf9\u5f85\u6240\u6709\u754c\u9762，\u7f3a\u4e4f\u5229\u7528\u5185\u7f6eAPI\u6216\u4f9b\u5e94\u5546\u6587\u6863\u7684\u80fd\u529b\u3002\u56e0\u6b64，\u5b83\u4eec\u65e0\u6cd5\u63a8\u7406\u9ad8\u7ea7\u6982\u5ff5，\u9664\u975e\u8fd9\u4e9b\u6d41\u7a0b\u88ab\u660e\u786e\u5d4c\u5165\u6a21\u578b\u4e2d\u3002\u8fd9\u79cd\u521a\u6027\u9650\u5236\u4e86\u5176\u6cdb\u5316\u80fd\u529b\u5e76\u4f7f\u7ef4\u62a4\u6210\u672c\u9ad8\u6602\u3002<\/p>\n
（3）\u7834\u574f\u6027\u4e14\u4e0d\u5b89\u5168\u7684\u6267\u884c\u6a21\u578b\u3002 \u5927\u591a\u6570CUA\u76f4\u63a5\u5728\u7528\u6237\u684c\u9762\u4f1a\u8bdd\u4e0a\u9a71\u52a8\u81ea\u52a8\u5316，\u52ab\u6301\u771f\u5b9e\u9f20\u6807\u548c\u952e\u76d8\u3002\u8fd9\u79cd\u8bbe\u8ba1\u963b\u6b62\u7528\u6237\u5728\u6267\u884c\u671f\u95f4\u4e0e\u7cfb\u7edf\u4ea4\u4e92，\u5f15\u5165\u5e72\u6270\u98ce\u9669，\u5e76\u8fdd\u53cd\u4e86\u5b89\u5168\u7cfb\u7edf\u8bbe\u8ba1\u7684\u57fa\u672c\u9694\u79bb\u539f\u5219\u3002\u957f\u65f6\u95f4\u8fd0\u884c\u7684\u4efb\u52a1\u2014\u2014\u5c24\u5176\u662f\u6d89\u53ca\u591a\u6b21LLM\u67e5\u8be2\u7684\u4efb\u52a1\u2014\u2014\u53ef\u80fd\u5784\u65ad\u4f1a\u8bdd\u957f\u8fbe\u6570\u5206\u949f\u3002<\/p>\n
2.4 \u7f3a\u5931\u7684\u62bd\u8c61：\u64cd\u4f5c\u7cfb\u7edf\u5bf9\u81ea\u52a8\u5316\u7684\u652f\u6301<\/h4>\n
\u5c3d\u7ba1\u5bf9\u667a\u80fd\u3001\u8bed\u8a00\u9a71\u52a8\u81ea\u52a8\u5316\u7684\u9700\u6c42\u4e0d\u65ad\u589e\u957f，\u73b0\u6709\u64cd\u4f5c\u7cfb\u7edf\u6ca1\u6709\u63d0\u4f9b\u4e00\u7b49\u62bd\u8c61\u6765\u5c06GUI\u5e94\u7528\u7a0b\u5e8f\u63a7\u5236\u66b4\u9732\u7ed9\u5916\u90e8\u4ee3\u7406\u3002\u4e0e\u7cfb\u7edf\u8c03\u7528\u3001\u6587\u4ef6\u6216\u5957\u63a5\u5b57\u76f8\u6bd4，GUI\u5de5\u4f5c\u6d41\u4ecd\u7136\u4e0d\u900f\u660e\u4e14\u4e0d\u53ef\u7f16\u7a0b\u3002\u56e0\u6b64，RPA\u548cCUA\u7cfb\u7edf\u90fd\u88ab\u8feb\u4f5c\u4e3aGUI\u4e4b\u4e0a\u7684\u4e34\u65f6\u5c42\u8fd0\u884c，\u6ca1\u6709\u7edf\u4e00\u7684\u6267\u884c\u3001\u534f\u8c03\u6216\u5185\u7701\u57fa\u5ea7\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002648-6ac834c8dc2ba.png\")
<\/p>\n
\u56fe2. UFO\u00b2\u67b6\u6784\u6982\u89c8\u3002<\/p>\n
\u672c\u6587\u8ba4\u4e3a\u81ea\u52a8\u5316\u5e94\u88ab\u63d0\u5347\u4e3a\u7cfb\u7edf\u539f\u8bed\u3002\u6211\u4eec\u63d0\u51faUFO\u00b2，\u4e00\u79cd\u65b0\u7684Windows AgentOS，\u901a\u8fc7\u5c06\u81ea\u52a8\u5316\u5d4c\u5165\u4e3a\u6df1\u5ea6\u96c6\u6210\u7684OS\u62bd\u8c61\u2014\u2014\u5c06GUI\u63a7\u4ef6\u3001\u5e94\u7528\u7a0b\u5e8fAPI\u548c\u4efb\u52a1\u7f16\u6392\u66b4\u9732\u4e3a\u53ef\u7f16\u7a0b\u3001\u53ef\u68c0\u67e5\u548c\u53ef\u7ec4\u5408\u7684\u7cfb\u7edf\u670d\u52a1\u2014\u2014\u6765\u89e3\u51b3\u8fd9\u4e9b\u9650\u5236\u3002<\/p>\n
3 UFO\u00b2\u7684\u7cfb\u7edf\u8bbe\u8ba1<\/h3>\n
\u53d7\u7b2c2\u8282\u5f3a\u8c03\u7684\u6311\u6218\u7684\u542f\u53d1，UFO\u00b2\u65e8\u5728\u65e0\u7f1d\u89e3\u91ca\u81ea\u7136\u8bed\u8a00\u7528\u6237\u8bf7\u6c42\u5e76\u53ef\u9760\u5730\u81ea\u52a8\u5316\u8de8\u591a\u79cdWindows\u5e94\u7528\u7a0b\u5e8f\u7684\u4efb\u52a1\u3002\u672c\u8282\u63d0\u4f9bUFO\u00b2\u7684\u67b6\u6784\u6982\u8ff0（\u7b2c3.1\u8282），\u5e76\u89e3\u91ca\u6bcf\u4e2a\u7ec4\u4ef6\u5982\u4f55\u4e0e\u5e95\u5c42OS\u6df1\u5ea6\u96c6\u6210，\u4ee5\u514b\u670d\u5f53\u524dCUA\u7684\u7f3a\u9677，\u6700\u7ec8\u5b9e\u73b0\u5b9e\u7528\u7684\u3001\u7a33\u5065\u7684\u684c\u9762\u81ea\u52a8\u5316AgentOS\u3002<\/p>\n
3.1 UFO\u00b2\u4f5c\u4e3a\u81ea\u52a8\u5316\u7684\u7cfb\u7edf\u57fa\u5ea7<\/h4>\n
\u56fe2\u5c55\u793a\u4e86UFO\u00b2\u7684\u9ad8\u5c42\u67b6\u6784，\u5b83\u4e3aWindows\u684c\u9762\u4e0a\u7684\u9762\u5411\u4efb\u52a1\u81ea\u52a8\u5316\u63d0\u4f9b\u4e86\u7ed3\u6784\u5316\u8fd0\u884c\u65f6\u73af\u5883\u3002UFO\u00b2\u4f5c\u4e3a\u672c\u5730\u5b88\u62a4\u8fdb\u7a0b\u90e8\u7f72，\u4f7f\u7528\u6237\u80fd\u591f\u53d1\u51fa\u81ea\u7136\u8bed\u8a00\u8bf7\u6c42，\u8fd9\u4e9b\u8bf7\u6c42\u88ab\u8f6c\u6362\u4e3a\u8de8\u8d8a\u591a\u4e2aGUI\u5e94\u7528\u7a0b\u5e8f\u7684\u534f\u8c03\u5de5\u4f5c\u6d41\u3002\u7cfb\u7edf\u4e3a\u7f16\u6392\u3001\u5185\u7701\u3001\u63a7\u5236\u6267\u884c\u548c\u4ee3\u7406\u534f\u4f5c\u63d0\u4f9b\u6838\u5fc3\u62bd\u8c61\u2014\u2014\u5c06\u8fd9\u4e9b\u4f5c\u4e3a\u7cfb\u7edf\u7ea7\u670d\u52a1\u66b4\u9732，\u7c7b\u4f3c\u4e8e\u4f20\u7edfOS\u4e2d\u7684\u670d\u52a1\u3002<\/p>\n
UFO\u00b2\u7684\u6838\u5fc3\u662f\u4e00\u4e2a\u4e2d\u592e\u63a7\u5236\u5e73\u9762HostAgent，\u8d1f\u8d23\u89e3\u6790\u7528\u6237\u610f\u56fe\u3001\u7ba1\u7406\u7cfb\u7edf\u72b6\u6001\u5e76\u5c06\u5b50\u4efb\u52a1\u5206\u6d3e\u7ed9\u4e00\u7ec4\u79f0\u4e3aAPPAGENT\u7684\u4e13\u7528\u8fd0\u884c\u65f6\u6a21\u5757\u3002\u6bcf\u4e2aAPPAGENT\u4e13\u7528\u4e8e\u7279\u5b9a\u5e94\u7528\u7a0b\u5e8f（\u5982Excel\u3001Outlook\u3001\u6587\u4ef6\u8d44\u6e90\u7ba1\u7406\u5668），\u5c01\u88c5\u4e86\u89c2\u5bdf\u548c\u63a7\u5236\u8be5\u5e94\u7528\u7a0b\u5e8f\u6240\u9700\u7684\u6240\u6709\u903b\u8f91，\u5305\u62ecAPI\u7ed1\u5b9a\u3001UI\u68c0\u6d4b\u5668\u548c\u77e5\u8bc6\u5e93\u3002\u8fd9\u4e9b\u6a21\u5757\u4f5c\u4e3a\u5177\u6709\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9a\u8bed\u4e49\u7684\u9694\u79bb\u6267\u884c\u4e0a\u4e0b\u6587\u8fd0\u884c\u3002<\/p>\n
\u5728\u6536\u5230\u7528\u6237\u8bf7\u6c42\u540e，HostAgent\u5c06\u5176\u5206\u89e3\u4e3a\u4e00\u7cfb\u5217\u5b50\u4efb\u52a1，\u6bcf\u4e2a\u5b50\u4efb\u52a1\u6620\u5c04\u5230\u6700\u9002\u5408\u5b8c\u6210\u5b83\u7684\u5e94\u7528\u7a0b\u5e8f\u3002\u5982\u679c\u76f8\u5e94\u5e94\u7528\u7a0b\u5e8f\u5c1a\u672a\u8fd0\u884c，HostAgent\u4f7f\u7528\u539f\u751fWindows API\u542f\u52a8\u5b83\u5e76\u5b9e\u4f8b\u5316\u76f8\u5e94\u7684APPAGENT\u3002\u6267\u884c\u901a\u8fc7\u7ed3\u6784\u5316\u5faa\u73af\u8fdb\u884c：\u6bcf\u4e2aAPPAGENT\u6301\u7eed\u89c2\u5bdf\u5e94\u7528\u7a0b\u5e8f\u72b6\u6001（\u901a\u8fc7\u65e0\u969c\u788dAPI\u548c\u57fa\u4e8e\u89c6\u89c9\u7684\u68c0\u6d4b\u5668），\u4f7f\u7528ReAct\u98ce\u683c\u89c4\u5212\u5faa\u73af[22]\u63a8\u7406\u4e0b\u4e00\u6b65\u64cd\u4f5c，\u5e76\u8c03\u7528\u9002\u5f53\u7684\u52a8\u4f5c\u2014\u2014\u65e0\u8bba\u662fGUI\u4e8b\u4ef6\u8fd8\u662f\u539f\u751fAPI\u8c03\u7528\u3002\u6b64\u5faa\u73af\u6301\u7eed\u5230\u5b50\u4efb\u52a1\u7ec8\u6b62，\u65e0\u8bba\u662f\u6210\u529f\u8fd8\u662f\u7531\u4e8e\u4e0d\u53ef\u6062\u590d\u7684\u9519\u8bef\u3002<\/p>\n
UFO\u00b2\u901a\u8fc7\u5168\u5c40\u9ed1\u677f\u63a5\u53e3\u5b9e\u73b0\u5171\u4eab\u5185\u5b58\u548c\u63a7\u5236\u6d41，\u5141\u8bb8HostAgent\u548cAPPAGENT\u4ea4\u6362\u4e2d\u95f4\u7ed3\u679c\u3001\u4f9d\u8d56\u72b6\u6001\u548c\u6267\u884c\u5143\u6570\u636e\u3002\u8be5\u67b6\u6784\u652f\u6301\u8de8\u5e94\u7528\u7a0b\u5e8f\u8fb9\u754c\u7684\u590d\u6742\u5de5\u4f5c\u6d41\u2014\u2014\u4f8b\u5982，\u4ece\u7535\u5b50\u8868\u683c\u63d0\u53d6\u6570\u636e\u5e76\u4f7f\u7528\u5b83\u586b\u5145Web\u8868\u5355\u5b57\u6bb5\u2014\u2014\u65e0\u9700\u624b\u5de5\u7f16\u5199\u7684\u811a\u672c\u6216\u534f\u8c03\u903b\u8f91\u3002\u5173\u952e\u7684\u662f，\u6240\u6709\u4ea4\u4e92\u90fd\u53d1\u751f\u5728\u865a\u62df\u5316\u7684\u3001\u57fa\u4e8ePiP\u7684\u684c\u9762\u73af\u5883\u4e2d，\u786e\u4fdd\u8fdb\u7a0b\u7ea7\u9694\u79bb\u548c\u5b89\u5168\u7684\u591a\u5e94\u7528\u7a0b\u5e8f\u5e76\u53d1\u3002<\/p>\n
\u8bbe\u8ba1\u7406\u5ff5：\u96c6\u4e2d\u5f0f\u591a\u4ee3\u7406\u8fd0\u884c\u65f6\u3002 UFO\u00b2\u91c7\u7528\u96c6\u4e2d\u5f0f\u591a\u4ee3\u7406[10, 23-25]\u8fd0\u884c\u65f6\u4ee5\u652f\u6301\u53ef\u9760\u6027\u548c\u53ef\u6269\u5c55\u6027\u3002\u96c6\u4e2d\u5f0fHostAgent\u5145\u5f53\u63a7\u5236\u5e73\u9762，\u7b80\u5316\u4efb\u52a1\u7ea7\u7f16\u6392\u3001\u9519\u8bef\u5904\u7406\u548c\u751f\u547d\u5468\u671f\u7ba1\u7406\u3002\u540c\u65f6，\u6bcf\u4e2aAPPAGENT\u88ab\u67b6\u6784\u4e3a\u677e\u6563\u8026\u5408\u7684\u6267\u884c\u5668，\u5c01\u88c5\u6df1\u5ea6\u7684\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9a\u529f\u80fd\u3002<\/p>\n
APPAGENT\u7ea7\u522b\u7684\u6a21\u5757\u5316\u5141\u8bb8\u5f00\u53d1\u8005\u548c\u7b2c\u4e09\u65b9\u8d21\u732e\u8005\u901a\u8fc7\u7f16\u5199\u65b0\u7684\u5e94\u7528\u7a0b\u5e8f\u63a5\u53e3\u548cAPI\u7ed1\u5b9a\u6765\u589e\u91cf\u6269\u5c55UFO\u00b2\u7684\u80fd\u529b\u3002\u8fd9\u4e9b\u4ee3\u7406\u662f\u53ef\u53d1\u73b0\u7684\u3001\u81ea\u5305\u542b\u7684，\u5e76\u7531\u8fd0\u884c\u65f6\u6839\u636e\u9700\u8981\u52a8\u6001\u5b9e\u4f8b\u5316\u3002\u4ece\u5b89\u5168\u548c\u53ef\u6f14\u5316\u6027\u7684\u89d2\u5ea6\u6765\u770b，\u8fd9\u79cd\u5173\u6ce8\u70b9\u5206\u79bb\u786e\u4fdd\u5e94\u7528\u7a0b\u5e8f\u903b\u8f91\u53ef\u4ee5\u72ec\u7acb\u4e8e\u6838\u5fc3\u4efb\u52a1\u7f16\u6392\u5f15\u64ce\u6f14\u8fdb\u3002<\/p>\n
\u603b\u4e4b，HostAgent-APPAGENT\u6a21\u578b\u4f7fUFO\u00b2\u80fd\u591f\u4f5c\u4e3a\u53ef\u6269\u5c55\u3001\u53ef\u63d2\u62d4\u7684GUI\u81ea\u52a8\u5316\u8fd0\u884c\u65f6\u57fa\u5ea7\u2014\u2014\u62bd\u8c61\u6389\u5f02\u6784\u63a5\u53e3\u7684\u590d\u6742\u6027，\u5e76\u4e3a\u7ed3\u6784\u5316\u5e94\u7528\u7a0b\u5e8f\u884c\u4e3a\u63d0\u4f9b\u7edf\u4e00\u7684\u7cfb\u7edf\u63a5\u53e3\u3002<\/p>\n
3.2 HostAgent：\u7cfb\u7edf\u7ea7\u7f16\u6392\u4e0e\u6267\u884c\u63a7\u5236<\/h4>\n
HostAgent\u4f5c\u4e3aUFO\u00b2\u7684\u96c6\u4e2d\u5f0f\u63a7\u5236\u5e73\u9762\u3002\u5b83\u8d1f\u8d23\u89e3\u91ca\u7528\u6237\u6307\u5b9a\u7684\u76ee\u6807，\u5c06\u5176\u5206\u89e3\u4e3a\u7ed3\u6784\u5316\u5b50\u4efb\u52a1，\u5b9e\u4f8b\u5316\u548c\u5206\u6d3eAPPAGENT\u6a21\u5757，\u5e76\u534f\u8c03\u5b83\u4eec\u5728\u7cfb\u7edf\u4e2d\u7684\u8fdb\u5ea6\u3002HostAgent\u4e3a\u5185\u7701\u3001\u89c4\u5212\u3001\u5e94\u7528\u7a0b\u5e8f\u751f\u547d\u5468\u671f\u7ba1\u7406\u548c\u591a\u4ee3\u7406\u540c\u6b65\u63d0\u4f9b\u7cfb\u7edf\u7ea7\u670d\u52a1\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002648-6ac834c8f2c1d.png\")
<\/p>\n
\u56fe3. HostAgent\u7684\u67b6\u6784\u3002<\/p>\n
\u56fe3\u6982\u8ff0\u4e86HostAgent\u7684\u67b6\u6784\u3002HostAgent\u8fd0\u884c\u5728\u539f\u751fWindows\u57fa\u5ea7\u4e4b\u4e0a，\u76d1\u63a7\u6d3b\u52a8\u5e94\u7528\u7a0b\u5e8f，\u6839\u636e\u9700\u8981\u53d1\u51fashell\u547d\u4ee4\u751f\u6210\u65b0\u8fdb\u7a0b，\u5e76\u7ba1\u7406\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9aAppAgent\u5b9e\u4f8b\u7684\u521b\u5efa\u548c\u9500\u6bc1\u3002\u6240\u6709\u534f\u8c03\u901a\u8fc7\u6301\u4e45\u72b6\u6001\u673a\u8fdb\u884c，\u8be5\u72b6\u6001\u673a\u7ba1\u7406\u6267\u884c\u9636\u6bb5\u4e4b\u95f4\u7684\u8f6c\u6362\u3002<\/p>\n
\u804c\u8d23\u4e0e\u63a5\u53e3\u3002 HostAgent\u66b4\u9732\u4ee5\u4e0b\u7cfb\u7edf\u670d\u52a1：<\/p>\n
\n- \n
\u4efb\u52a1\u5206\u89e3\u3002 \u7ed9\u5b9a\u7528\u6237\u7684\u81ea\u7136\u8bed\u8a00\u8f93\u5165，HostAgent\u8bc6\u522b\u5e95\u5c42\u4efb\u52a1\u76ee\u6807\u5e76\u5c06\u5176\u5206\u89e3\u4e3a\u4f9d\u8d56\u6392\u5e8f\u7684\u5b50\u4efb\u52a1\u56fe\u3002<\/p>\n<\/li>\n
- \n
\u5e94\u7528\u7a0b\u5e8f\u751f\u547d\u5468\u671f\u7ba1\u7406\u3002 \u5bf9\u4e8e\u6bcf\u4e2a\u5b50\u4efb\u52a1，HostAgent\u68c0\u67e5\u7cfb\u7edf\u8fdb\u7a0b\u5143\u6570\u636e（\u901a\u8fc7UIA API）\u4ee5\u786e\u5b9a\u76ee\u6807\u5e94\u7528\u7a0b\u5e8f\u662f\u5426\u6b63\u5728\u8fd0\u884c\u3002\u5982\u679c\u6ca1\u6709，\u5b83\u542f\u52a8\u7a0b\u5e8f\u5e76\u5411\u8fd0\u884c\u65f6\u6ce8\u518c\u3002<\/p>\n<\/li>\n
- \n
AppAgent\u5b9e\u4f8b\u5316\u3002 HostAgent\u4e3a\u6bcf\u4e2a\u6d3b\u52a8\u5e94\u7528\u7a0b\u5e8f\u751f\u6210\u76f8\u5e94\u7684AppAgent，\u4e3a\u5176\u63d0\u4f9b\u4efb\u52a1\u4e0a\u4e0b\u6587\u3001\u5185\u5b58\u5f15\u7528\u548c\u76f8\u5173\u5de5\u5177\u94fe（\u5982API\u3001\u6587\u6863）\u3002<\/p>\n<\/li>\n
- \n
\u4efb\u52a1\u8c03\u5ea6\u4e0e\u63a7\u5236\u3002 \u5168\u5c40\u6267\u884c\u8ba1\u5212\u88ab\u5e8f\u5217\u5316\u4e3a\u6709\u9650\u72b6\u6001\u673a（FSM），\u5141\u8bb8HostAgent\u5f3a\u5236\u6267\u884c\u6267\u884c\u987a\u5e8f\u3001\u68c0\u6d4b\u6545\u969c\u5e76\u89e3\u51b3\u4ee3\u7406\u95f4\u7684\u4f9d\u8d56\u5173\u7cfb\u3002<\/p>\n<\/li>\n
- \n
\u5171\u4eab\u72b6\u6001\u901a\u4fe1\u3002 HostAgent\u8bfb\u5199\u5168\u5c40\u9ed1\u677f，\u5b9e\u73b0\u4ee3\u7406\u95f4\u901a\u4fe1\u548c\u7cfb\u7edf\u7ea7\u53ef\u89c2\u6d4b\u6027，\u7528\u4e8e\u8c03\u8bd5\u548c\u91cd\u653e\u3002<\/p>\n<\/li>\n<\/ul>\n
\u7cfb\u7edf\u611f\u77e5\u4e0e\u5185\u7701\u3002 \u4e3a\u4e86\u6267\u884c\u5176\u63a7\u5236\u529f\u80fd，HostAgent\u878d\u5408\u4e86\u4e24\u5c42\u7cfb\u7edf\u5185\u7701：<\/p>\n
- \n
\u89c6\u89c9\u5c42\u3002 \u6355\u83b7\u684c\u9762\u5de5\u4f5c\u7a7a\u95f4\u7684\u50cf\u7d20\u7ea7\u622a\u56fe，\u5b9e\u73b0\u7c97\u7c92\u5ea6\u5e03\u5c40\u7406\u89e3\u3002<\/p>\n<\/li>\n
- \n
\u8bed\u4e49\u5c42\u3002 \u67e5\u8be2Windows UIA API\u4ee5\u63d0\u53d6\u5173\u4e8e\u5e94\u7528\u7a0b\u5e8f\u3001\u7a97\u53e3\u548c\u63a7\u5236\u5c42\u6b21\u7684\u7ed3\u6784\u5316\u5143\u6570\u636e\u3002<\/p>\n<\/li>\n
\u8fd9\u79cd\u53cc\u91cd\u611f\u77e5\u4f7fHostAgent\u80fd\u591f\u89e3\u51b3\u6b67\u4e49\u3001\u68c0\u6d4b\u8fd0\u884c\u65f6\u4e0d\u4e00\u81f4，\u5e76\u4ee5\u4e0a\u4e0b\u6587\u611f\u77e5\u7684\u51b3\u7b56\u6307\u5bfc\u4ee3\u7406\u3002<\/p>\n
\u7ed3\u6784\u5316\u8f93\u51fa\u63a5\u53e3\u3002 HostAgent\u4ea7\u751f\u7ed3\u6784\u5316\u8f93\u51fa\u4ee5\u9a71\u52a8\u4e0b\u6e38\u6267\u884c：<\/p>\n
\n- \n
\u5b50\u4efb\u52a1\u8ba1\u5212：\u8be6\u7ec6\u8bf4\u660e\u5206\u89e3\u5b50\u4efb\u52a1\u7684\u9ad8\u5c42\u6267\u884c\u8ba1\u5212\u3002<\/p>\n<\/li>\n
- \n
Shell\u547d\u4ee4：\u7528\u4e8e\u7ba1\u7406\u5e94\u7528\u7a0b\u5e8f\u751f\u547d\u5468\u671f\u7684shell\u7ea7\u8c03\u7528\u5e8f\u5217\u3002<\/p>\n<\/li>\n
- \n
\u5206\u914d\u5e94\u7528\u7a0b\u5e8f：\u9009\u62e9\u7528\u4e8e\u5b9e\u4f8b\u5316AppAgent\u7684\u5e94\u7528\u7a0b\u5e8f\u7684\u8fdb\u7a0b\u540d\u548c\u7d22\u5f15，\u5c06\u7528\u4e8e\u6267\u884c\u4e0b\u4e00\u4e2a\u5b50\u4efb\u52a1\u3002<\/p>\n<\/li>\n
- \n
\u4ee3\u7406\u6d88\u606f：\u4f20\u9012\u7ed9AppAgent\u5b9e\u4f8b\u4ee5\u8fdb\u884c\u672c\u5730\u5316\u6267\u884c\u7684\u4e0a\u4e0b\u6587\u7279\u5b9a\u6307\u4ee4\u3002<\/p>\n<\/li>\n
- \n
\u7528\u6237\u63d0\u793a：\u5728\u6b67\u4e49\u6216\u5931\u8d25\u60c5\u51b5\u4e0b\u7684\u4ea4\u4e92\u5f0f\u6f84\u6e05\u8bf7\u6c42\u3002<\/p>\n<\/li>\n
- \n
HostAgent\u72b6\u6001：HostAgent\u5185\u90e8FSM\u4e2d\u7684\u5f53\u524d\u72b6\u6001\u3002<\/p>\n<\/li>\n<\/ul>\n
\u901a\u8fc7\u6709\u9650\u72b6\u6001\u63a7\u5236\u5668\u6267\u884c\u3002 HostAgent\u7684\u6838\u5fc3\u903b\u8f91\u88ab\u5efa\u6a21\u4e3a\u6709\u9650\u72b6\u6001\u63a7\u5236\u5668（\u56fe4），\u5177\u6709\u4ee5\u4e0b\u72b6\u6001：<\/p>\n
\n- \n
CONTINUE：\u4e3b\u6267\u884c\u5faa\u73af；\u8bc4\u4f30\u54ea\u4e9b\u5b50\u4efb\u52a1\u5df2\u51c6\u5907\u597d\u542f\u52a8\u6216\u6062\u590d\u3002<\/p>\n<\/li>\n
- \n
ASSIGN：\u9009\u62e9\u53ef\u7528\u7684\u5e94\u7528\u7a0b\u5e8f\u8fdb\u7a0b\u5e76\u751f\u6210\u76f8\u5e94\u7684AppAgent\u4ee3\u7406\u3002<\/p>\n<\/li>\n
- \n
PENDING：\u7b49\u5f85\u7528\u6237\u8f93\u5165\u4ee5\u89e3\u51b3\u6b67\u4e49\u6216\u6536\u96c6\u989d\u5916\u4efb\u52a1\u53c2\u6570\u3002<\/p>\n<\/li>\n
- \n
FINISH：\u6240\u6709\u5b50\u4efb\u52a1\u5b8c\u6210；\u6e05\u7406\u4ee3\u7406\u5b9e\u4f8b\u5e76\u6700\u7ec8\u786e\u5b9a\u4f1a\u8bdd\u72b6\u6001\u3002<\/p>\n<\/li>\n
- \n
FAIL：\u5728\u4e0d\u53ef\u6062\u590d\u7684\u5931\u8d25\u65f6\u8fdb\u5165\u6062\u590d\u6216\u4e2d\u6b62\u6a21\u5f0f\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u79cd\u663e\u5f0fFSM\u7ed3\u6784\u4f7fHostAgent\u80fd\u591f\u7a33\u5065\u5730\u7f16\u6392\u52a8\u6001\u5de5\u4f5c\u6d41，\u540c\u65f6\u4fdd\u6301\u5bf9\u4efb\u52a1\u5b8c\u6210\u548c\u6545\u969c\u9694\u79bb\u7684\u9ad8\u5c42\u4fdd\u8bc1\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002649-6ac834c914020.png\")
<\/p>\n
\u56fe4. HostAgent\u7ba1\u7406\u7684\u63a7\u5236\u72b6\u6001\u8f6c\u6362\u3002<\/p>\n
\u5185\u5b58\u4e0e\u72b6\u6001\u7ba1\u7406\u3002 HostAgent\u7ef4\u62a4\u4e24\u7c7b\u6301\u4e45\u72b6\u6001：<\/p>\n
\n- \n
\u79c1\u6709\u72b6\u6001：\u8ddf\u8e2a\u7528\u6237\u610f\u56fe\u3001\u8ba1\u5212\u8fdb\u5ea6\u548c\u5f53\u524d\u4f1a\u8bdd\u7684\u63a7\u5236\u6d41\u3002<\/p>\n<\/li>\n
- \n
\u5171\u4eab\u9ed1\u677f：\u4e00\u4e2a\u5e76\u53d1\u7684\u3001\u4ec5\u8ffd\u52a0\u7684\u5185\u5b58\u7a7a\u95f4，\u901a\u8fc7\u8bb0\u5f55\u5173\u952e\u89c2\u5bdf\u3001\u4e2d\u95f4\u7ed3\u679c\u548c\u6267\u884c\u5143\u6570\u636e\u6765\u4fc3\u8fdb\u900f\u660e\u4ee3\u7406\u901a\u4fe1，\u6240\u6709APPAGENT\u5b9e\u4f8b\u5747\u53ef\u8bbf\u95ee\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u79cd\u5206\u79bb\u786e\u4fdd\u672c\u5730\u4e0a\u4e0b\u6587\u4fdd\u6301\u5c01\u88c5，\u800c\u5168\u5c40\u534f\u8c03\u5728\u7cfb\u7edf\u4e2d\u53ef\u89c1\u4e14\u4e00\u81f4\u3002\u8fd9\u79cd\u5206\u79bb\u786e\u4fdd\u6bcf\u4e2a\u4ee3\u7406\u4fdd\u6301\u5e72\u51c0\u3001\u6709\u4f5c\u7528\u57df\u7684\u72b6\u6001，\u540c\u65f6\u53d7\u76ca\u4e8e\u5168\u5c40\u4e00\u81f4\u7684\u89c6\u56fe\u4ee5\u8fdb\u884c\u534f\u4f5c\u4efb\u52a1\u6267\u884c\u3002<\/p>\n
\u603b\u4f53\u800c\u8a00，HostAgent\u62bd\u8c61\u6389\u4e86\u5728\u684c\u9762\u73af\u5883\u4e2d\u7ba1\u7406\u5e76\u53d1\u3001\u6709\u72b6\u6001\u3001\u8de8\u5e94\u7528\u7a0b\u5e8f\u5de5\u4f5c\u6d41\u7684\u590d\u6742\u6027[26]\u3002\u5176\u63a7\u5236\u5e73\u9762\u89d2\u8272\u5b9e\u73b0\u4e86\u6a21\u5757\u5316\u6267\u884c\u3001\u534f\u8c03\u8fdb\u5ea6\u548c\u7a33\u5065\u7684\u4efb\u52a1\u751f\u547d\u5468\u671f\u7ba1\u7406\u2014\u2014\u8fd9\u4e9b\u90fd\u662f\u5c06\u684c\u9762\u81ea\u52a8\u5316\u6269\u5c55\u5230\u771f\u5b9e\u4e16\u754c\u90e8\u7f72\u7684\u5173\u952e\u7279\u6027\u3002<\/p>\n
3.3 APPAGENT：\u5e94\u7528\u4e13\u7528\u6267\u884c\u8fd0\u884c\u65f6<\/h4>\n
APPAGENT\u662fUFO2\u4e2d\u7684\u6838\u5fc3\u6267\u884c\u8fd0\u884c\u65f6，\u8d1f\u8d23\u5728\u7279\u5b9aWindows\u5e94\u7528\u7a0b\u5e8f\u5185\u6267\u884c\u5355\u4e2a\u5b50\u4efb\u52a1\u3002\u6bcf\u4e2aAPPAGENT\u4f5c\u4e3a\u7531\u4e2d\u592eHostAgent（\u7b2c3.2\u8282）\u542f\u52a8\u548c\u7f16\u6392\u7684\u9694\u79bb\u3001\u5e94\u7528\u4e13\u7528\u5de5\u4f5c\u8fdb\u7a0b\u8fd0\u884c\u3002\u4e0e\u7edf\u4e00\u5bf9\u5f85\u6240\u6709GUI\u4e0a\u4e0b\u6587\u7684\u5355\u4f53CUA\u4e0d\u540c，\u6bcf\u4e2aAPPAGENT\u9488\u5bf9\u5355\u4e2a\u5e94\u7528\u7a0b\u5e8f\u91cf\u8eab\u5b9a\u5236，\u5e76\u4ee5\u5176API\u8868\u9762\u3001\u63a7\u5236\u8bed\u4e49\u548c\u9886\u57df\u903b\u8f91\u7684\u6df1\u5ea6\u77e5\u8bc6\u8fd0\u884c\u3002<\/p>\n
\u56fe5\u6982\u8ff0\u4e86APPAGENT\u7684\u67b6\u6784\u3002\u5728\u4eceHostAgent\u63a5\u6536\u5b50\u4efb\u52a1\u548c\u6267\u884c\u4e0a\u4e0b\u6587\u540e，APPAGENT\u521d\u59cb\u5316\u4e00\u4e2aReAct\u98ce\u683c\u7684\u63a7\u5236\u5faa\u73af[22]，\u5728\u5176\u4e2d\u8fed\u4ee3\u611f\u77e5\u5f53\u524d\u5e94\u7528\u7a0b\u5e8f\u72b6\u6001\u3001\u63a8\u7406\u4e0b\u4e00\u6b65，\u5e76\u6267\u884cGUI\u6216\u57fa\u4e8eAPI\u7684\u52a8\u4f5c\u3002\u8fd9\u79cd\u6df7\u5408\u6267\u884c\u5c42\u2014\u2014\u901a\u8fc7Puppeteer\u63a5\u53e3\u5b9e\u73b0\u2014\u2014\u901a\u8fc7\u4f18\u5148\u4f7f\u7528\u7ed3\u6784\u5316API（\u5728\u53ef\u7528\u65f6）\u6765\u5b9e\u73b0\u5bf9\u52a8\u6001\u590d\u6742UI\u7684\u53ef\u9760\u63a7\u5236，\u540c\u65f6\u5728\u5fc5\u8981\u65f6\u4fdd\u7559\u5bf9\u57fa\u4e8eGUI\u4ea4\u4e92\u7684\u56de\u9000\u3002<\/p>\n
\u611f\u77e5\u5c42\u3002 \u6bcf\u4e2aAPPAGENT\u878d\u5408\u591a\u4e2a\u611f\u77e5\u6d41：<\/p>\n
\n- \n
\u89c6\u89c9\u8f93\u5165：\u6355\u83b7GUI\u622a\u56fe\u7528\u4e8e\u5e03\u5c40\u7406\u89e3\u548c\u63a7\u5236\u5b9a\u4f4d\u3002<\/p>\n<\/li>\n
- \n
\u8bed\u4e49\u5143\u6570\u636e：\u4eceWindows UIA API\u63d0\u53d6，\u5305\u62ec\u63a7\u4ef6\u7c7b\u578b\u3001\u6807\u7b7e\u3001\u5c42\u6b21\u7ed3\u6784\u548c\u542f\u7528\u72b6\u6001\u3002<\/p>\n<\/li>\n
- \n
\u7b26\u53f7\u6807\u6ce8：\u4f7f\u7528Set-of-Mark（SoM）\u6280\u672f[27]\u5728\u622a\u56fe\u4e0a\u6807\u6ce8\u63a7\u4ef6\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u4e9b\u878d\u5408\u4fe1\u53f7\u88ab\u8f6c\u6362\u4e3a\u7ed3\u6784\u5316\u89c2\u5bdf\u5bf9\u8c61，\u5305\u542bGUI\u622a\u56fe\u548c\u5019\u9009\u63a7\u4ef6\u5143\u7d20\u96c6\u3002\u8fd9\u79cd\u591a\u6a21\u6001\u8868\u793a\u4f7f\u5f97\u5bf9\u5e94\u7528\u7a0b\u5e8f\u72b6\u6001\u7684\u7406\u89e3\u66f4\u52a0\u5168\u9762，\u8fdc\u8d85\u539f\u59cb\u89c6\u89c9\u8f93\u5165\u3002<\/p>\n
\u7ed3\u6784\u5316\u8f93\u51fa\u3002 \u57fa\u4e8e\u6b64\u72b6\u6001，APPAGENT\u4ea7\u751f\u7ed3\u6784\u5316\u8f93\u51fa：<\/p>\n
\n- \n
\u76ee\u6807\u63a7\u4ef6（\u5982\u9002\u7528）<\/p>\n<\/li>\n
- \n
\u52a8\u4f5c\u7c7b\u578b（\u5982\u70b9\u51fb\u3001\u8f93\u5165\u3001\u8c03\u7528API）<\/p>\n<\/li>\n
- \n
\u53c2\u6570\u6216\u8d1f\u8f7d<\/p>\n<\/li>\n
- \n
\u4f7f\u7528\u601d\u7ef4\u94fe（CoT）[28, 29]\u7684\u63a8\u7406\u8f68\u8ff9\u548c\u89c4\u5212<\/p>\n<\/li>\n
- \n
\u672c\u5730FSM\u4e2d\u7684\u5f53\u524d\u72b6\u6001<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u79cd\u8bbe\u8ba1\u5c06\u611f\u77e5\u4e0e\u6267\u884c\u89e3\u8026，\u5b9e\u73b0\u786e\u5b9a\u6027\u91cd\u653e\u3001\u79bb\u7ebf\u8c03\u8bd5\u548c\u7ec6\u7c92\u5ea6\u53ef\u89c2\u6d4b\u6027\u3002<\/p>\n
\u901a\u8fc7\u6709\u9650\u72b6\u6001\u63a7\u5236\u5668\u6267\u884c\u3002 \u6bcf\u4e2aAPPAGENT\u7ef4\u62a4\u4e00\u4e2a\u672c\u5730\u6709\u9650\u72b6\u6001\u673a（\u56fe6），\u7ba1\u7406\u5176\u5728\u5206\u914d\u7684\u5e94\u7528\u7a0b\u5e8f\u4e0a\u4e0b\u6587\u4e2d\u7684\u884c\u4e3a：<\/p>\n
\n- \n
CONTINUE：\u52a8\u4f5c\u89c4\u5212\u548c\u6267\u884c\u7684\u9ed8\u8ba4\u72b6\u6001\u3002<\/p>\n<\/li>\n
- \n
PENDING：\u5bf9\u5b89\u5168\u5173\u952e\u52a8\u4f5c（\u5982\u7834\u574f\u6027\u64cd\u4f5c）\u8c03\u7528；\u9700\u8981\u7528\u6237\u786e\u8ba4\u3002<\/p>\n<\/li>\n
- \n
FINISH：\u4efb\u52a1\u5b8c\u6210；\u6267\u884c\u7ed3\u675f\u3002<\/p>\n<\/li>\n
- \n
FAIL：\u68c0\u6d4b\u5230\u4e0d\u53ef\u6062\u590d\u7684\u5931\u8d25（\u5982\u5e94\u7528\u7a0b\u5e8f\u5d29\u6e83\u3001\u6743\u9650\u9519\u8bef）\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u79cd\u6709\u754c\u6267\u884c\u6a21\u578b\u5c06\u6545\u969c\u9694\u79bb\u5230\u5f53\u524d\u4efb\u52a1，\u5e76\u652f\u6301\u5b89\u5168\u62a2\u5360\u3001\u91cd\u8bd5\u6216\u59d4\u6258\u3002FSM\u8fd8\u652f\u6301\u53ef\u4e2d\u65ad\u5de5\u4f5c\u6d41，\u53ef\u4ee5\u4ece\u4e2d\u95f4\u68c0\u67e5\u70b9\u6062\u590d\u3002<\/p>\n
\u5185\u5b58\u4e0e\u72b6\u6001\u534f\u8c03\u3002 \u4e3a\u4e86\u5b9e\u73b0\u6709\u72b6\u6001\u6267\u884c\u5e76\u4fdd\u6301\u4e0a\u4e0b\u6587\u611f\u77e5，\u6bcf\u4e2aAPPAGENT\u7ef4\u62a4：<\/p>\n
\n- \n
\u79c1\u6709\u72b6\u6001：\u6240\u6709\u5df2\u6267\u884c\u52a8\u4f5c\u3001\u63a7\u5236\u51b3\u7b56\u548cCoT\u8f68\u8ff9\u7684\u672c\u5730\u65e5\u5fd7\u3002<\/p>\n<\/li>\n
- \n
\u5171\u4eab\u72b6\u6001：\u5bf9\u7cfb\u7edf\u7ea7\u9ed1\u677f\u7684\u66f4\u65b0，\u5305\u62ec\u4e2d\u95f4\u8f93\u51fa\u3001\u9047\u5230\u7684\u9519\u8bef\u548c\u5e94\u7528\u7a0b\u5e8f\u7ea7\u89c1\u89e3\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u79cd\u53cc\u5185\u5b58\u8bbe\u8ba1\u4f7fAPPAGENT\u80fd\u591f\u4ee3\u8868HostAgent\u81ea\u4e3b\u884c\u52a8，\u540c\u65f6\u4e0e\u66f4\u5e7f\u6cdb\u7684\u7cfb\u7edf\u4fdd\u6301\u540c\u6b65\u3002\u5b83\u8fd8\u652f\u6301\u53ef\u7ec4\u5408\u6027：\u4e00\u4e2aAPPAGENT\u7684\u8f93\u51fa\u53ef\u4ee5\u6210\u4e3a\u4e0b\u6e38\u5b50\u4efb\u52a1\u4e2d\u53e6\u4e00\u4e2aAPPAGENT\u7684\u8f93\u5165\u3002<\/p>\n
\u5e94\u7528\u611f\u77e5SDK\u4e0e\u53ef\u6269\u5c55\u6027\u3002 \u4e3a\u4e86\u652f\u6301\u65b0\u5e94\u7528\u7a0b\u5e8f\u7684\u5feb\u901f\u63a5\u5165，UFO2\u66b4\u9732\u4e86\u4e00\u4e2aSDK，\u5c01\u88c5\u4e86APPAGENT\u7684\u5f00\u53d1\u548c\u7ef4\u62a4\u3002\u5f00\u53d1\u8005\u53ef\u4ee5\u901a\u8fc7\u58f0\u660e\u5f0f\u63a5\u53e3\u6ce8\u518c\u5e94\u7528\u7279\u5b9aAPI，\u5305\u62ec\u51fd\u6570\u5143\u6570\u636e\u3001\u53c2\u6570\u6a21\u5f0f\u548c\u63d0\u793a\u7ed1\u5b9a\u3002\u9886\u57df\u7279\u5b9a\u7684\u5e2e\u52a9\u6587\u6863\u548c\u8865\u4e01\u8bf4\u660e\u53ef\u4ee5\u6444\u5165\u53ef\u641c\u7d22\u7684\u77e5\u8bc6\u5e93，\u4ee3\u7406\u5728\u8fd0\u884c\u65f6\u67e5\u8be2\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002649-6ac834c93f1ea.png\")
<\/p>\n
\u56fe5. APPAGENT\u7684\u67b6\u6784，UFO2\u4e2d\u7684\u6bcf\u5e94\u7528\u7a0b\u5e8f\u6267\u884c\u8fd0\u884c\u65f6\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002649-6ac834c98bc59.png\")
<\/p>\n
\u56fe6. APPAGENT\u8fd0\u884c\u65f6\u7684\u63a7\u5236\u72b6\u6001\u8f6c\u6362\u3002<\/p>\n
\u8fd9\u79cd\u6a21\u5757\u5316\u62bd\u8c61\u5141\u8bb8\u7b2c\u4e09\u65b9\u4f9b\u5e94\u5546\u6216\u9ad8\u7ea7\u7528\u6237\u6269\u5c55UFO2\u7684\u80fd\u529b\u800c\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u4efb\u4f55\u6a21\u578b\u3002\u65b0\u529f\u80fd\u53ef\u4ee5\u901a\u8fc7\u66f4\u65b0\u5e94\u7528\u7a0b\u5e8f\u7684APPAGENT\u6a21\u5757\u6765\u96c6\u6210，\u5c06\u66f4\u6539\u4e0e\u7cfb\u7edf\u5176\u4f59\u90e8\u5206\u9694\u79bb\u5e76\u6700\u5c0f\u5316\u56de\u5f52\u98ce\u9669\u3002<\/p>\n
\u603b\u7ed3\u3002 \u4f5c\u4e3a\u6bcf\u5e94\u7528\u7a0b\u5e8f\u6267\u884c\u8fd0\u884c\u65f6，\u6bcf\u4e2aAPPAGENT\u63d0\u4f9b\u6a21\u5757\u5316\u3001\u9886\u57df\u611f\u77e5\u7684\u63a7\u5236，\u5728\u6548\u7387\u548c\u7a33\u5065\u6027\u65b9\u9762\u8d85\u8d8a\u901a\u7528GUI\u4ee3\u7406\u3002\u5176\u6df7\u5408\u611f\u77e5-\u52a8\u4f5c\u5faa\u73af\u3001\u57fa\u4e8e\u63d2\u4ef6\u7684\u53ef\u6269\u5c55\u6027\u548c\u672c\u5730\u6545\u969c\u904f\u5236\u4f7fUFO2\u80fd\u591f\u4ee5\u6700\u5c0f\u7684\u7cfb\u7edf\u7ea7\u4e2d\u65ad\u6269\u5c55\u5230\u5927\u578b\u5e94\u7528\u7a0b\u5e8f\u751f\u6001\u7cfb\u7edf\u3002<\/p>\n
3.4 \u6df7\u5408\u63a7\u5236\u68c0\u6d4b<\/h4>\n
GUI\u5143\u7d20\u7684\u53ef\u9760\u611f\u77e5\u662f\u4f7fAPPAGENT\u80fd\u591f\u4ee5\u786e\u5b9a\u6027\u548c\u5b89\u5168\u7684\u65b9\u5f0f\u4e0e\u5e94\u7528\u7a0b\u5e8f\u754c\u9762\u4ea4\u4e92\u7684\u57fa\u7840\u3002\u7136\u800c，\u771f\u5b9e\u4e16\u754c\u7684GUI\u73af\u5883\u8868\u73b0\u51fa\u663e\u8457\u7684\u5f02\u6784\u6027：\u4e00\u4e9b\u5e94\u7528\u7a0b\u5e8f\u901a\u8fc7Windows UI Automation（UIA）API\u66b4\u9732\u7ed3\u6784\u826f\u597d\u7684\u65e0\u969c\u788d\u6570\u636e，\u800c\u5176\u4ed6\u5e94\u7528\u7a0b\u5e8f\u2014\u2014\u5c24\u5176\u662f\u9057\u7559\u6216\u81ea\u5b9a\u4e49\u5e94\u7528\u7a0b\u5e8f\u2014\u2014\u4f7f\u7528\u5b8c\u5168\u7ed5\u8fc7UIA\u7684\u975e\u6807\u51c6\u5de5\u5177\u5305\u6e32\u67d3\u5173\u952e\u63a7\u4ef6\u3002<\/p>\n
\u4e3a\u4e86\u89e3\u51b3\u8fd9\u79cd\u5dee\u5f02，UFO2\u5f15\u5165\u4e86\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u5b50\u7cfb\u7edf，\u878d\u5408\u57fa\u4e8eUIA\u7684\u5143\u6570\u636e\u4e0e\u57fa\u4e8e\u89c6\u89c9\u7684\u5b9a\u4f4d[18, 30, 31]，\u4e3a\u6bcf\u4e2a\u5e94\u7528\u7a0b\u5e8f\u7a97\u53e3\u6784\u5efa\u7edf\u4e00\u4e14\u5168\u9762\u7684\u63a7\u5236\u56fe（\u56fe7）\u3002\u8fd9\u79cd\u8bbe\u8ba1\u786e\u4fdd\u4e86\u8986\u76d6\u8303\u56f4\u548c\u53ef\u9760\u6027，\u4e3a\u4e0b\u6e38\u52a8\u4f5c\u89c4\u5212\u548c\u6267\u884c\u5f62\u6210\u4e86\u5f39\u6027\u611f\u77e5\u57fa\u7840\u3002<\/p>\n
UIA\u5c42\u68c0\u6d4b\u3002 \u5728\u53ef\u7528\u65f6，UIA\u63d0\u4f9b\u4e86\u8bed\u4e49\u4e30\u5bcc\u4e14\u9ad8\u7cbe\u5ea6\u7684\u63a5\u53e3\u6765\u679a\u4e3e\u5c4f\u5e55\u63a7\u4ef6\u3002\u68c0\u6d4b\u6d41\u6c34\u7ebf\u9996\u5148\u67e5\u8be2\u65e0\u969c\u788d\u6811\u4ee5\u63d0\u53d6\u6ee1\u8db3\u4e00\u7ec4\u8fd0\u884c\u65f6\u8c13\u8bcd（\u5982is_visible()\u3001is_enabled()）\u7684\u63a7\u4ef6\u3002\u8fd9\u4e9b\u63a7\u4ef6\u88ab\u6807\u6ce8\u5176\u5c5e\u6027（\u7c7b\u578b\u3001\u6807\u7b7e\u3001\u8fb9\u754c\u6846）\u5e76\u5206\u914d\u7a33\u5b9a\u6807\u8bc6\u7b26，\u5f62\u6210\u521d\u59cb\u63a7\u5236\u56fe\u3002<\/p>\n
\u89c6\u89c9\u5c42\u589e\u5f3a\u3002 \u4e3a\u4e86\u589e\u5f3a\u5bf9UI\u4e0d\u53ef\u89c1\u6216\u81ea\u5b9a\u4e49\u6e32\u67d3\u63a7\u4ef6\u7684\u611f\u77e5\u6d41\u6c34\u7ebf，\u6211\u4eec\u96c6\u6210\u4e86OmniParser-v2 [18]，\u4e00\u79cd\u4e3a\u5feb\u901f\u51c6\u786eGUI\u89e3\u6790\u8bbe\u8ba1\u7684\u57fa\u4e8e\u89c6\u89c9\u7684\u5b9a\u4f4d\u6a21\u578b\u3002OmniParser-v2\u7ed3\u5408\u8f7b\u91cf\u7ea7YOLO-v8 [32]\u68c0\u6d4b\u5668\u548c\u5fae\u8c03\u7684Florence-2（0.23B）[33]\u7f16\u7801\u5668\u6765\u5904\u7406\u539f\u59cb\u5e94\u7528\u7a0b\u5e8f\u622a\u56fe\u5e76\u8bc6\u522b\u989d\u5916\u7684\u4ea4\u4e92\u5143\u7d20\u3002\u6bcf\u4e2a\u68c0\u6d4b\u5305\u62ec\u63a7\u4ef6\u7c7b\u578b\u3001\u7f6e\u4fe1\u5ea6\u5206\u6570\u548c\u7a7a\u95f4\u8fb9\u754c\u6846\u3002<\/p>\n
\u878d\u5408\u4e0e\u53bb\u91cd\u3002 \u6211\u4eec\u901a\u8fc7\u57fa\u4e8e\u8fb9\u754c\u6846\u91cd\u53e0\u6267\u884c\u53bb\u91cd\u6765\u7edf\u4e00\u8fd9\u4e24\u4e2a\u6d41\u3002\u4e0e\u4efb\u4f55UIA\u6d3e\u751f\u63a7\u4ef6\u4ea4\u5e76\u6bd4（IoU）\u5927\u4e8e10%\u7684\u89c6\u89c9\u68c0\u6d4b\u88ab\u4e22\u5f03\u3002\u5269\u4f59\u7684\u4ec5\u89c6\u89c9\u68c0\u6d4b\u4f7f\u7528\u8f7b\u91cf\u7ea7UIAWrapper\u62bd\u8c61\u8f6c\u6362\u4e3a\u4f2aUIA\u5bf9\u8c61，\u5141\u8bb8\u5b83\u4eec\u65e0\u7f1d\u96c6\u6210\u5230APPAGENT\u6d41\u6c34\u7ebf\u7684\u5176\u4f59\u90e8\u5206\u3002\u8fd9\u4e2a\u878d\u5408\u63a7\u5236\u96c6\u88ab\u4f20\u9012\u5230\u4e0b\u6e38\u7684\u57fa\u4e8eSoM\u7684\u6807\u6ce8\u6a21\u5757[27]\u3002\u56fe7\u5c55\u793a\u4e86\u6d89\u53ca\u6df7\u5408\u6e32\u67d3GUI\u7684\u5178\u578b\u573a\u666f\u3002\u9ec4\u8272\u8fb9\u754c\u6846\u8868\u793a\u6807\u51c6UIA\u68c0\u6d4b\u5143\u7d20，\u84dd\u8272\u8fb9\u754c\u6846\u8868\u793a\u4ec5\u89c6\u89c9\u68c0\u6d4b\u3002\u4e24\u8005\u90fd\u88ab\u96c6\u6210\u5230APPAGENT\u6d88\u8d39\u7684\u5355\u4e2a\u53ef\u64cd\u4f5c\u63a7\u5236\u56fe\u4e2d\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002649-6ac834c9b0af9.png\")
<\/p>\n
\u56fe7. UFO2\u4e2d\u91c7\u7528\u7684\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u65b9\u6cd5\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002650-6ac834ca5223d.png\")
<\/p>\n
\u56fe8. Puppeteer\u4f5c\u4e3a\u7edf\u4e00\u6267\u884c\u5f15\u64ce，\u534f\u8c03GUI\u52a8\u4f5c\u548c\u539f\u751fAPI\u8c03\u7528\u3002<\/p>\n
3.5 \u7edf\u4e00GUI-API\u52a8\u4f5c\u7f16\u6392\u5668<\/h4>\n
APPAGENT\u53ef\u4ee5\u4e0e\u66b4\u9732\u4e24\u7c7b\u4e0d\u540c\u63a5\u53e3\u7684\u5e94\u7528\u7a0b\u5e8f\u73af\u5883\u4ea4\u4e92：GUI\u524d\u7aef，\u666e\u904d\u53ef\u89c2\u5bdf\u4f46\u5f80\u5f80\u8106\u5f31；\u4ee5\u53ca\u539f\u751fAPI，\u9ad8\u4fdd\u771f\u4f46\u9700\u8981\u663e\u5f0f\u96c6\u6210[17]\u3002\u4e3a\u4e86\u5728\u5355\u4e00\u8fd0\u884c\u65f6\u62bd\u8c61\u4e0b\u7edf\u4e00\u8fd9\u4e9b\u5f02\u6784\u6267\u884c\u540e\u7aef，UFO2\u5f15\u5165\u4e86Puppeteer，\u4e00\u4e2a\u6a21\u5757\u5316\u6267\u884c\u7f16\u6392\u5668，\u4e3a\u6bcf\u4e2a\u52a8\u4f5c\u6b65\u9aa4\u52a8\u6001\u9009\u62e9GUI\u7ea7\u81ea\u52a8\u5316\u548c\u5e94\u7528\u7279\u5b9aAPI（\u56fe8）\u3002\u8fd9\u79cd\u8bbe\u8ba1\u663e\u8457\u63d0\u9ad8\u4e86\u4efb\u52a1\u7a33\u5065\u6027\u3001\u5ef6\u8fdf\u548c\u53ef\u7ef4\u62a4\u6027\u3002\u5426\u5219\u9700\u8981\u957f\u65f6\u95f4GUI\u4ea4\u4e92\u5e8f\u5217\u7684\u4efb\u52a1（\u5982\u8fed\u4ee3\u9009\u62e9\u548c\u683c\u5f0f\u5316Excel\u5355\u5143\u683c）\u901a\u5e38\u53ef\u4ee5\u6298\u53e0\u4e3a\u5355\u4e2aAPI\u8c03\u7528，\u51cf\u5c11\u6267\u884c\u65f6\u95f4\u548c\u6545\u969c\u8868\u9762\u79ef[17, 34]\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002650-6ac834ca851d0.png\")
<\/p>\n
\u56fe9. Excel\u7684API\u6ce8\u518c\u793a\u4f8b\u3002<\/p>\n
Puppeteer\u652f\u6301\u8f7b\u91cf\u7ea7API\u6ce8\u518c\u673a\u5236，\u4f7f\u5f00\u53d1\u8005\u80fd\u591f\u5728\u76ee\u6807\u5e94\u7528\u7a0b\u5e8f\u4e2d\u66b4\u9732\u9ad8\u7ea7\u64cd\u4f5c\u3002API\u4f7f\u7528\u7b80\u5355\u7684Python\u88c5\u9970\u5668\u63a5\u53e3\u6ce8\u518c，\u5982\u56fe9\u6240\u793a\u3002\u6bcf\u4e2a\u51fd\u6570\u88ab\u5305\u88c5\u5143\u6570\u636e\u2014\u2014\u540d\u79f0\u3001\u53c2\u6570\u6a21\u5f0f\u548c\u5e94\u7528\u7ed1\u5b9a\u2014\u2014\u5e76\u81ea\u52a8\u7eb3\u5165APPAGENT\u7684\u8fd0\u884c\u65f6\u52a8\u4f5c\u7a7a\u95f4\u3002<\/p>\n
\u5728\u8fd0\u884c\u65f6，UFO2\u63d0\u793aAPPAGENT\u91c7\u7528\u51b3\u7b56\u7b56\u7565\u4e3a\u6bcf\u4e2a\u64cd\u4f5c\u9009\u62e9\u6700\u5408\u9002\u7684\u6267\u884c\u8def\u5f84\u3002\u5982\u679c\u8bed\u4e49\u7b49\u6548\u7684API\u53ef\u7528，Puppeteer\u4f18\u5148\u4f7f\u7528\u5b83\u800c\u975eGUI\u81ea\u52a8\u5316，\u4ee5\u63d0\u9ad8\u53ef\u9760\u6027\u548c\u539f\u5b50\u6027\u3002\u5982\u679cAPI\u5931\u8d25\u6216\u4e0d\u53ef\u7528（\u5982\u7f3a\u5c11\u7ed1\u5b9a\u6216\u8fd0\u884c\u65f6\u6743\u9650\u9519\u8bef），\u7cfb\u7edf\u901a\u8fc7\u6a21\u62df\u70b9\u51fb\u6216\u6309\u952e\u4f18\u96c5\u5730\u56de\u9000\u5230\u57fa\u4e8eGUI\u7684\u63a7\u5236\u3002\u8fd9\u79cd\u8fd0\u884c\u65f6\u7075\u6d3b\u6027\u5141\u8bb8APPAGENT\u5728\u5f02\u6784\u73af\u5883\u4e2d\u4fdd\u6301\u7a33\u5065\u6027\u800c\u4e0d\u727a\u7272\u901a\u7528\u6027\u3002<\/p>\n
Puppeteer\u5c06UFO2\u4e2d\u7684\u52a8\u4f5c\u6267\u884c\u4ece\u5355\u4f53GUI\u4e2d\u5fc3\u6a21\u578b\u8f6c\u53d8\u4e3a\u7075\u6d3b\u7684\u3001OS\u96c6\u6210\u7684\u63a7\u5236\u5c42，\u6df7\u5408\u4e86\u611f\u77e5\u654f\u6377\u6027\u548c\u8bed\u4e49\u7cbe\u5ea6\u3002\u8fd9\u79cd\u6df7\u5408\u6267\u884c\u6a21\u578b\u4e0d\u4ec5\u63d0\u9ad8\u4e86\u7cfb\u7edf\u6027\u80fd\u548c\u7a33\u5b9a\u6027，\u8fd8\u4e3a\u672a\u6765\u684c\u9762\u4ee3\u7406\u4e2d\u5e94\u7528\u7279\u5b9a\u80fd\u529b\u7684\u53ef\u6301\u7eed\u96c6\u6210\u5960\u5b9a\u4e86\u57fa\u7840\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002650-6ac834caa7ccc.png\")
<\/p>\n
\u56fe10. UFO2\u4e2d\u77e5\u8bc6\u57fa\u5ea7\u7684\u6982\u89c8，\u7ed3\u5408\u9759\u6001\u6587\u6863\u4e0e\u52a8\u6001\u6267\u884c\u5386\u53f2\u3002<\/p>\n
3.6 \u6301\u7eed\u77e5\u8bc6\u96c6\u6210\u57fa\u5ea7<\/h4>\n
\u4e0e\u4f20\u7edfCUA\u4e25\u91cd\u4f9d\u8d56\u9759\u6001\u8bad\u7ec3\u8bed\u6599\u5e93\u4e0d\u540c，UFO2\u5f15\u5165\u4e86\u6301\u4e45\u4e14\u53ef\u6269\u5c55\u7684\u77e5\u8bc6\u57fa\u5ea7，\u652f\u6301\u5e94\u7528\u7279\u5b9a\u7406\u89e3\u7684\u8fd0\u884c\u65f6\u589e\u5f3a\u3002\u5982\u56fe10\u6240\u793a，\u8be5\u57fa\u5ea7\u4f7f\u6bcf\u4e2aAPPAGENT\u80fd\u591f\u68c0\u7d22\u3001\u89e3\u91ca\u548c\u5e94\u7528\u5916\u90e8\u6587\u6863\u548c\u5148\u524d\u6267\u884c\u8f68\u8ff9，\u800c\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u5e95\u5c42\u6a21\u578b\u3002\u8fd9\u79cd\u6df7\u5408\u8bb0\u5fc6\u8bbe\u8ba1\u529f\u80fd\u7c7b\u4f3c\u4e8eOS\u7ea7\u5143\u6570\u636e\u7ba1\u7406\u5668，\u62bd\u8c61\u4e86\u4e24\u79cd\u5173\u952e\u77e5\u8bc6\u6d41：\u9759\u6001\u53c2\u8003（\u5982\u7528\u6237\u624b\u518c）\u548c\u52a8\u6001\u7ecf\u9a8c（\u5982\u6267\u884c\u65e5\u5fd7）\u3002<\/p>\n
\u4ece\u6587\u6863\u5f15\u5bfc\u3002 \u5927\u591a\u6570\u771f\u5b9e\u4e16\u754c\u684c\u9762\u5e94\u7528\u7a0b\u5e8f\u901a\u8fc7\u7528\u6237\u6307\u5357\u3001\u5e2e\u52a9\u83dc\u5355\u6216\u5728\u7ebf\u6559\u7a0b\u66b4\u9732\u5927\u91cf\u4efb\u52a1\u7ea7\u6587\u6863\u3002UFO2\u901a\u8fc7\u63d0\u4f9b\u4e00\u952e\u5f0f\u63a5\u53e3\u6765\u89e3\u6790\u548c\u6444\u5165\u6b64\u7c7b\u6587\u6863\u5230\u5e94\u7528\u7279\u5b9a\u5411\u91cf\u5b58\u50a8\u4e2d，\u4ece\u800c\u5229\u7528\u8fd9\u4e00\u8d44\u6e90\u3002\u6587\u6863\u88ab\u7ed3\u6784\u5316\u4e3aJSON\u8bb0\u5f55，\u5728request\u5b57\u6bb5\u4e2d\u5177\u6709\u81ea\u7136\u8bed\u8a00\u63cf\u8ff0，\u5728guidance\u5b57\u6bb5\u4e2d\u5177\u6709\u8be6\u7ec6\u6267\u884c\u6307\u5bfc\u3002<\/p>\n
\u5728\u8fd0\u884c\u65f6，\u5f53APPAGENT\u6536\u5230\u5b50\u4efb\u52a1\u65f6，\u5b83\u67e5\u8be2\u6b64\u7d22\u5f15\u5b58\u50a8\u4ee5\u68c0\u7d22\u76f8\u5173\u6307\u5bfc，\u7136\u540e\u6ce8\u5165\u4ee3\u7406\u7684\u63d0\u793a\u4e2d\u3002\u8fd9\u79cd\u673a\u5236\u6709\u6548\u7f13\u89e3\u51b7\u542f\u52a8\u95ee\u9898\u2014\u2014\u7279\u522b\u662f\u5728\u5904\u7406\u65b0\u5e94\u7528\u7a0b\u5e8f\u6216\u4e0d\u5e38\u89c1\u64cd\u4f5c\u65f6\u2014\u2014\u901a\u8fc7\u7528\u9886\u57df\u57fa\u7840\u7684\u7a0b\u5e8f\u6027\u77e5\u8bc6\u4e30\u5bcc\u4ee3\u7406\u7684\u63a8\u7406\u4e0a\u4e0b\u6587\u3002<\/p>\n
\u4ece\u7ecf\u9a8c\u4e2d\u5f3a\u5316\u3002 \u9664\u4e86\u9759\u6001\u77e5\u8bc6，UFO2\u6301\u7eed\u4ece\u5176\u81ea\u8eab\u6267\u884c\u5386\u53f2\u4e2d\u5b66\u4e60\u3002\u6bcf\u6b21\u81ea\u52a8\u5316\u8fd0\u884c\u4ea7\u751f\u7ed3\u6784\u5316\u65e5\u5fd7\u2014\u2014\u5305\u62ec\u81ea\u7136\u8bed\u8a00\u4efb\u52a1\u63cf\u8ff0\u3001\u6267\u884c\u7684\u52a8\u4f5c\u5e8f\u5217\u3001\u5e94\u7528\u7a0b\u5e8f\u622a\u56fe\u548c\u6700\u7ec8\u7ed3\u679c\u3002\u5b9a\u671f\u5730，\u8fd9\u4e9b\u65e5\u5fd7\u7531\u6458\u8981\u6a21\u5757\u79bb\u7ebf\u6316\u6398，\u5c06\u6210\u529f\u8f68\u8ff9\u63d0\u70bc\u4e3a\u53ef\u91cd\u7528\u7684Example\u8bb0\u5f55\u3002<\/p>\n
\u6bcf\u6761\u8bb0\u5f55\u5305\u542b\u4efb\u52a1\u7b7e\u540d\u548c\u5173\u8054\u7684\u5206\u6b65\u8ba1\u5212，\u5b58\u50a8\u5728\u5e94\u7528\u7279\u5b9a\u7684\u793a\u4f8b\u6570\u636e\u5e93\u4e2d\u3002\u5f53\u672a\u6765\u9047\u5230\u7c7b\u4f3c\u4efb\u52a1\u65f6，APPAGENT\u4f7f\u7528\u4e0a\u4e0b\u6587\u5b66\u4e60（ICL）[35-38]\u68c0\u7d22\u76f8\u5173\u6f14\u793a\u5e76\u63d0\u9ad8\u6267\u884c\u4fdd\u771f\u5ea6\u3002\u8fd9\u79cd\u52a8\u6001\u5f3a\u5316\u6d41\u6c34\u7ebf\u5c06\u7cfb\u7edf\u8f6c\u53d8\u4e3a\u968f\u7740\u4f7f\u7528\u800c\u6539\u8fdb\u7684\u957f\u671f\u4ee3\u7406，\u800c\u4e0d\u5f15\u5165\u5fae\u8c03\u7684\u8106\u5f31\u6027\u6216\u8fd0\u8425\u6210\u672c[39]\u3002<\/p>\n
\u8fd0\u884c\u65f6RAG\u96c6\u6210\u3002 \u5728\u7cfb\u7edf\u5c42\u9762，\u77e5\u8bc6\u57fa\u5ea7\u5145\u5f53\u68c0\u7d22\u589e\u5f3a\u751f\u6210（RAG）\u5c42[40-43]，\u5f25\u5408\u9884\u8bad\u7ec3\u8bed\u8a00\u6a21\u578b\u4e0e\u5e94\u7528\u7279\u5b9a\u9700\u6c42\u4e4b\u95f4\u7684\u5dee\u8ddd\u3002\u7531\u4e8e\u5e2e\u52a9\u6587\u6863\u548c\u793a\u4f8b\u90fd\u7528\u8bed\u4e49\u5d4c\u5165\u7d22\u5f15，\u68c0\u7d22\u6d41\u6c34\u7ebf\u5feb\u901f\u3001\u53ef\u89e3\u91ca\u4e14\u7f13\u5b58\u53cb\u597d\u3002\u6b64\u5916，\u7248\u672c\u5316\u7d22\u5f15\u786e\u4fdd\u77e5\u8bc6\u5236\u54c1\u53ef\u4ee5\u4e0e\u8f6f\u4ef6\u66f4\u65b0\u4e00\u8d77\u6f14\u8fdb，\u9632\u6b62\u6a21\u578b\u8fc7\u65f6\u5e76\u652f\u6301\u957f\u90e8\u7f72\u5468\u671f\u4e2d\u7684\u7a33\u5065\u6267\u884c\u3002<\/p>\n
\u901a\u8fc7\u5c06\u9759\u6001\u548c\u7ecf\u9a8c\u77e5\u8bc6\u96c6\u6210\u5230\u7edf\u4e00\u7684RAG\u6d41\u6c34\u7ebf\u4e2d，UFO2\u5c06CUA\u4ece\u8106\u5f31\u7684\u3001\u8bad\u7ec3\u65f6\u6784\u9020\u8f6c\u53d8\u4e3a\u52a8\u6001\u3001\u6f14\u5316\u7684\u4ee3\u7406\u3002\u8be5\u57fa\u5ea7\u5728\u5b9e\u73b0\u590d\u6742\u3001\u5f02\u6784\u5e94\u7528\u751f\u6001\u7cfb\u7edf\u7684\u53ef\u6301\u7eed\u81ea\u52a8\u5316\u65b9\u9762\u53d1\u6325\u7740\u57fa\u7840\u6027\u4f5c\u7528\u3002<\/p>\n
3.7 \u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c<\/h4>\n
\u4f20\u7edfCUA\u906d\u53d7\u6839\u672c\u6027\u7684\u6267\u884c\u74f6\u9888：\u6bcf\u4e2a\u81ea\u52a8\u5316\u6b65\u9aa4\u5b64\u7acb\u6267\u884c，\u9700\u8981\u4e3a\u6bcf\u4e2aGUI\u52a8\u4f5c\u8fdb\u884c\u5b8c\u6574\u7684LLM\u63a8\u7406\u3002\u8fd9\u79cd\u9010\u6b65\u63a8\u7406\u5faa\u73af\u5f15\u5165\u8fc7\u5ea6\u5ef6\u8fdf，\u589e\u52a0\u7cfb\u7edf\u8d44\u6e90\u4f7f\u7528，\u5e76\u589e\u52a0\u7d2f\u79ef\u9519\u8bef\u7387\u2014\u2014\u7279\u522b\u662f\u5728\u4e0e\u590d\u6742\u6216\u591a\u9636\u6bb5\u5de5\u4f5c\u6d41\u4ea4\u4e92\u65f6[17]\u3002\u6839\u672c\u539f\u56e0\u662fGUI\u73af\u5883\u7684\u52a8\u6001\u548c\u4e0d\u786e\u5b9a\u6027\u8d28，\u5176\u4e2d\u4efb\u4f55\u5355\u4e2a\u52a8\u4f5c\u90fd\u53ef\u80fd\u6539\u53d8\u754c\u9762\u5e76\u4f7f\u672a\u6765\u8ba1\u5212\u5931\u6548\u3002<\/p>\n
\u4e3a\u4e86\u514b\u670d\u8fd9\u4e9b\u9650\u5236，UFO2\u5f15\u5165\u4e86\u79f0\u4e3a\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u7684\u7cfb\u7edf\u7ea7\u4f18\u5316，\u53d7\u5904\u7406\u5668\u8bbe\u8ba1\u4e2d\u63a8\u6d4b\u6267\u884c\u548c\u6307\u4ee4\u6d41\u6c34\u7ebf\u7684\u7ecf\u5178\u601d\u60f3\u542f\u53d1\u3002UFO2\u4e0d\u662f\u6bcf\u6b21LLM\u8c03\u7528\u53d1\u51fa\u4e00\u4e2a\u52a8\u4f5c，\u800c\u662f\u4f7f\u7528\u5355\u6b21\u63a8\u7406\u4f20\u9012\u63a8\u6d4b\u6027\u5730\u751f\u6210\u4e00\u6279\u53ef\u80fd\u7684\u4e0b\u4e00\u6b65\u9aa4，\u5e76\u901a\u8fc7\u7d27\u5bc6OS\u96c6\u6210\u5728\u8fd0\u884c\u65f6\u9a8c\u8bc1\u5176\u9002\u7528\u6027\u3002\u6211\u4eec\u5728\u7b97\u6cd51\u4e2d\u7ed9\u51fa\u4e86\u7b97\u6cd5\u3002<\/p>\n
\u63a8\u6d4b\u6027\u6267\u884c\u5668\u5206\u4e09\u4e2a\u9636\u6bb5\u8fd0\u4f5c：<\/p>\n
- \n
\u52a8\u4f5c\u9884\u6d4b：APPAGENT\u53d1\u51fa\u5355\u4e2aLLM\u67e5\u8be2\u4ee5\u5728\u5176\u5f53\u524d\u4e0a\u4e0b\u6587\u4e2d\u9884\u6d4b\u591a\u4e2a\u53ef\u80fd\u7684\u52a8\u4f5c\u3002\u6bcf\u4e2a\u9884\u6d4b\u6b65\u9aa4\u5305\u62ec\u76ee\u6807\u63a7\u4ef6\u3001\u9884\u671f\u64cd\u4f5c\u548c\u7406\u7531\u3002<\/p>\n<\/li>\n
- \n
\u8fd0\u884c\u65f6\u9a8c\u8bc1：\u5bf9\u4e8e\u6bcf\u4e2a\u52a8\u4f5c，\u7cfb\u7edf\u54a8\u8be2Windows UIA API\u4ee5\u9a8c\u8bc1\u52a8\u4f5c\u7684\u524d\u63d0\u6761\u4ef6（\u5982is_enabled()\u3001is_visible()）\u3002\u6b64\u68c0\u67e5\u786e\u4fdd\u6bcf\u4e2a\u76ee\u6807\u63a7\u4ef6\u4ecd\u7136\u6709\u6548\u548c\u53ef\u4ea4\u4e92\u3002<\/p>\n<\/li>\n
- \n
\u987a\u5e8f\u6267\u884c\u4e0e\u63d0\u524d\u9000\u51fa：\u52a8\u4f5c\u6309\u987a\u5e8f\u6267\u884c，\u5982\u679c\u4efb\u4f55\u9a8c\u8bc1\u56e0\u754c\u9762\u53d8\u5316（\u5982\u63a7\u4ef6\u4e0d\u518d\u5b58\u5728\u6216\u88ab\u7981\u7528）\u800c\u5931\u8d25，\u5219\u7acb\u5373\u505c\u6b62\u3002\u6267\u884c\u5668\u7136\u540e\u62a5\u544a\u90e8\u5206\u7ed3\u679c\u96c6\u5e76\u63d0\u793a\u4ee3\u7406\u91cd\u65b0\u89c4\u5212\u3002<\/p>\n<\/li>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002650-6ac834cae02e5.png\")
<\/p>\n
\u56fe11. UFO2\u4e2d\u7684\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c：\u5e26\u5728\u7ebf\u9a8c\u8bc1\u7684\u6279\u91cf\u63a8\u7406\u3002<\/p>\n
\u7b97\u6cd51 UFO2\u4e2d\u7684\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002651-6ac834cb62fe5.png\")
<\/p>\n
\u6211\u4eec\u5728\u56fe11\u4e2d\u5c55\u793a\u4e86\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u7684\u8bf4\u660e\u6027\u793a\u4f8b\u3002\u5728\u8fd9\u79cd\u60c5\u51b5\u4e0b，APPAGENT\u6700\u521d\u8ba1\u5212\u5728\u5355\u4e00\u6b65\u9aa4\u4e2d\u6267\u884c\u4e09\u4e2a\u52a8\u4f5c：\u70b9\u51fbPaste，\u7136\u540eQuick Style，\u6700\u540eGrid Filled\u3002\u7136\u800c，\u5728\u7b2c\u4e8c\u4e2a\u52a8\u4f5c\u4e4b\u540e，\u63a7\u4ef6\u9a8c\u8bc1\u5668\u68c0\u6d4b\u5230\u7b2c\u4e09\u4e2a\u52a8\u4f5c（Grid Filled）\u6240\u9700\u7684\u63a7\u4ef6\u4e0d\u518d\u5b58\u5728\u2014\u2014\u53ef\u80fd\u662f\u56e0\u4e3aGUI\u5e03\u5c40\u56e0\u524d\u4e00\u6b65\u9aa4\u800c\u6539\u53d8\u3002Puppeteer\u7136\u540e\u5728\u8be5\u70b9\u7ec8\u6b62\u6267\u884c\u5e76\u8fd4\u56de\u90e8\u5206\u7ed3\u679c\u3002\u6b64\u793a\u4f8b\u7a81\u51fa\u4e86UFO2\u5982\u4f55\u901a\u8fc7\u5728\u6267\u884c\u524d\u9a8c\u8bc1\u6bcf\u4e2a\u63a7\u4ef6\u6765\u5b89\u5168\u5904\u7406\u63a8\u6d4b\u6027\u6267\u884c，\u786e\u4fdd\u5373\u4f7f\u5728\u52a8\u6001\u754c\u9762\u53d8\u5316\u9762\u524d\u4e5f\u4fdd\u6301\u7a33\u5065\u3002<\/p>\n
\u603b\u4f53\u800c\u8a00，\u8fd9\u79cd\u7b56\u7565\u5927\u5e45\u51cf\u5c11\u4e86LLM\u8c03\u7528\u9891\u7387，\u5e76\u5c06\u52a8\u4f5c\u89c4\u5212\u7684\u6210\u672c\u644a\u9500\u5230\u591a\u4e2a\u6b65\u9aa4，\u540c\u65f6\u4fdd\u6301\u6bcf\u6b65\u9a8c\u8bc1\u7684\u6b63\u786e\u6027\u4fdd\u8bc1\u3002\u5173\u952e\u7684\u662f，\u9a8c\u8bc1\u7531\u53ef\u4fe1\u7684OS\u7ea7API\u800c\u975e\u89c6\u89c9\u6a21\u578b\u6267\u884c，\u786e\u4fdd\u9ad8\u53ef\u9760\u6027\u5e76\u6d88\u9664\u865a\u5047\u4ea4\u4e92\u3002<\/p>\n
4 \u753b\u4e2d\u753b\u754c\u9762<\/h3>\n
UFO2\u7684\u4e00\u4e2a\u5173\u952e\u8bbe\u8ba1\u76ee\u6807\u662f\u5728\u4fdd\u6301\u4e3b\u684c\u9762\u73af\u5883\u7684\u54cd\u5e94\u6027\u548c\u53ef\u7528\u6027\u7684\u540c\u65f6\u63d0\u4f9b\u9ad8\u541e\u5410\u91cf\u81ea\u52a8\u5316\u3002\u73b0\u6709CUA\u901a\u5e38\u5784\u65ad\u7528\u6237\u5de5\u4f5c\u7a7a\u95f4，\u957f\u65f6\u95f4\u593a\u53d6\u9f20\u6807\u548c\u952e\u76d8\u63a7\u5236\u6743，\u4f7f\u7cfb\u7edf\u5728\u6267\u884c\u4efb\u52a1\u671f\u95f4\u5b9e\u9645\u4e0a\u4e0d\u53ef\u7528\u3002\u4e3a\u4e86\u514b\u670d\u8fd9\u4e00\u70b9，UFO2\u5f15\u5165\u4e86\u753b\u4e2d\u753b（PiP）\u754c\u9762：\u4e00\u4e2a\u7531\u8fdc\u7a0b\u684c\u9762\u56de\u73af\u9a71\u52a8\u7684\u8f7b\u91cf\u7ea7\u865a\u62df\u5316\u684c\u9762\u7a97\u53e3，\u5b9e\u73b0\u5b8c\u5168\u9694\u79bb\u7684\u4ee3\u7406\u6267\u884c，\u4e0e\u6d3b\u52a8\u7528\u6237\u5de5\u4f5c\u6d41\u5e76\u884c，\u5982\u56fe12\u6240\u793a\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002651-6ac834cb9e616.png\")
<\/p>\n
\u56fe12. \u753b\u4e2d\u753b\u754c\u9762：\u7528\u4e8e\u975e\u7834\u574f\u6027\u81ea\u52a8\u5316\u7684\u865a\u62df\u684c\u9762\u7a97\u53e3\u3002<\/p>\n
4.1 \u6700\u5c0f\u5e72\u6270\u7684\u865a\u62df\u5316\u7528\u6237\u73af\u5883<\/h4>\n
\u4e0e\u4f20\u7edfCUA\u5728\u4e3b\u684c\u9762\u4f1a\u8bdd\u4e2d\u8fd0\u884c\u4e0d\u540c，PiP\u754c\u9762\u5448\u73b0\u4e00\u4e2a\u53ef\u8c03\u6574\u5927\u5c0f\u3001\u53ef\u79fb\u52a8\u7684\u7a97\u53e3，\u5305\u542b\u7528\u6237\u684c\u9762\u7684\u5168\u529f\u80fd\u526f\u672c\u3002\u5185\u90e8\u901a\u8fc7Windows\u539f\u751f\u8fdc\u7a0b\u684c\u9762\u534f\u8bae（RDP）\u56de\u73af[44]\u5b9e\u73b0，\u521b\u5efa\u6258\u7ba1\u5728\u540c\u4e00\u673a\u5668\u4e0a\u7684\u72ec\u7acb\u865a\u62df\u4f1a\u8bdd\u3002\u5728PiP\u4f1a\u8bdd\u4e2d\u542f\u52a8\u7684\u5e94\u7528\u7a0b\u5e8f\u7ee7\u627f\u7528\u6237\u7684\u8eab\u4efd\u3001\u51ed\u636e\u3001\u8bbe\u7f6e\u548c\u7f51\u7edc\u4e0a\u4e0b\u6587，\u786e\u4fdd\u4e0e\u524d\u53f0\u64cd\u4f5c\u7684\u4e00\u81f4\u6027\u3002<\/p>\n
\u4ece\u7528\u6237\u7684\u89d2\u5ea6\u6765\u770b，PiP\u7a97\u53e3\u8868\u73b0\u5f97\u50cf\u6c99\u76d2\u5de5\u4f5c\u7a7a\u95f4：\u81ea\u52a8\u5316\u5728\u540e\u53f0\u6267\u884c，\u53ef\u89c1\u4f46\u4e0d\u5f15\u4eba\u6ce8\u76ee\u3002\u7528\u6237\u4fdd\u7559\u5bf9\u4e3b\u684c\u9762\u7684\u5b8c\u5168\u63a7\u5236，\u53ef\u4ee5\u968f\u610f\u6700\u5c0f\u5316\u6216\u91cd\u65b0\u5b9a\u4f4dPiP\u7a97\u53e3\u3002\u8fd9\u4f7fUFO\u00b2\u80fd\u591f\u6267\u884c\u957f\u65f6\u95f4\u8fd0\u884c\u6216\u91cd\u590d\u6027\u5de5\u4f5c\u6d41（\u5982\u6570\u636e\u8f93\u5165\u3001\u6279\u91cf\u6587\u4ef6\u5904\u7406），\u800c\u4e0d\u4f1a\u963b\u585e\u7528\u6237\u4ea4\u4e92\u6216\u964d\u4f4e\u54cd\u5e94\u6027\u3002<\/p>\n
4.2 \u7a33\u5065\u7684\u8f93\u5165\u548c\u72b6\u6001\u9694\u79bb<\/h4>\n
\u4e3a\u4e86\u786e\u4fdd\u4ee3\u7406\u52a8\u4f5c\u548c\u7528\u6237\u6d3b\u52a8\u4e4b\u95f4\u7684\u7a33\u5065\u5206\u79bb，UFO\u00b2\u5229\u7528RDP\u5b50\u7cfb\u7edf\u5728\u4f1a\u8bdd\u4e4b\u95f4\u7ef4\u62a4\u4e0d\u540c\u7684\u8f93\u5165\u961f\u5217\u548c\u8bbe\u5907\u4e0a\u4e0b\u6587\u3002\u5728PiP\u684c\u9762\u5185\u751f\u6210\u7684\u9f20\u6807\u548c\u952e\u76d8\u4e8b\u4ef6\u5b8c\u5168\u9650\u5b9a\u5728\u8be5\u4f1a\u8bdd\u4e2d，\u4e0d\u80fd\u5e72\u6270\u4e3b\u684c\u9762\u3002\u7c7b\u4f3c\u5730，GUI\u53d8\u5316\u548c\u7126\u70b9\u8f6c\u6362\u88ab\u9650\u5236\u5728\u865a\u62df\u73af\u5883\u4e2d\u3002<\/p>\n
\u8fd9\u79cd\u7ea7\u522b\u7684\u8f93\u5165\u9694\u79bb\u5bf9\u4e8e\u9632\u6b62\u610f\u5916\u5e72\u6270\u2014\u2014\u65e0\u8bba\u662f\u7528\u6237\u8fd8\u662f\u4ee3\u7406\u2014\u2014\u81f3\u5173\u91cd\u8981，\u5e76\u786e\u4fdd\u81ea\u52a8\u5316\u5e8f\u5217\u4fdd\u6301\u7a33\u5b9a，\u5373\u4f7f\u5728\u540c\u65f6\u8fdb\u884c\u524d\u53f0\u6d3b\u52a8\u65f6\u4e5f\u662f\u5982\u6b64\u3002\u8be5\u67b6\u6784\u8fd8\u652f\u6301\u53d7\u63a7\u9519\u8bef\u6062\u590d：PiP\u4f1a\u8bdd\u5185\u7684\u6545\u969c\u6216\u610f\u5916UI\u72b6\u6001\u4e0d\u4f1a\u4f20\u64ad\u5230\u4e3b\u684c\u9762，\u4fdd\u6301\u7528\u6237\u73af\u5883\u7684\u5b8c\u6574\u6027\u3002<\/p>\n
4.3 \u5b89\u5168\u7684\u8de8\u4f1a\u8bdd\u534f\u8c03<\/h4>\n
\u5c3d\u7ba1\u5728\u89c6\u89c9\u548c\u64cd\u4f5c\u4e0a\u4e0d\u540c，PiP\u4f1a\u8bdd\u5fc5\u987b\u5728\u903b\u8f91\u4e0a\u4fdd\u6301\u4e0e\u5bbf\u4e3b\u73af\u5883\u7684\u8fde\u63a5\u3002\u4e3a\u4e86\u5b9e\u73b0\u8fd9\u4e00\u70b9，UFO\u00b2\u5728PiP\u4ee3\u7406\u8fd0\u884c\u65f6\u548c\u5bbf\u4e3b\u4fa7\u534f\u8c03\u5668\u4e4b\u95f4\u5efa\u7acb\u5b89\u5168\u7684\u8fdb\u7a0b\u95f4\u901a\u4fe1（IPC）\u901a\u9053\u3002\u6211\u4eec\u4f7f\u7528Windows\u547d\u540d\u7ba1\u9053\u5b9e\u73b0，\u4f7f\u7528\u6bcf\u4f1a\u8bdd\u51ed\u636e\u8fdb\u884c\u8eab\u4efd\u9a8c\u8bc1\u548c\u52a0\u5bc6[45]\u3002<\/p>\n
\u8be5IPC\u5c42\u652f\u6301\u53cc\u5411\u6d88\u606f\u4f20\u9012：<\/p>\n
\n- \n
\u4ece\u5bbf\u4e3b\u5230PiP：\u4efb\u52a1\u5206\u914d\u3001\u8fdb\u5ea6\u8f6e\u8be2\u3001\u53d6\u6d88\u548c\u7528\u6237\u6f84\u6e05\u3002<\/p>\n<\/li>\n
- \n
\u4ecePiP\u5230\u5bbf\u4e3b：\u72b6\u6001\u66f4\u65b0\u3001\u5b8c\u6210\u62a5\u544a\u548c\u5f02\u5e38\u901a\u77e5\u3002<\/p>\n<\/li>\n<\/ul>\n
\u7528\u6237\u901a\u8fc7\u5bbf\u4e3b\u684c\u9762\u4e0a\u7684\u8f7b\u91cf\u7ea7\u524d\u7aef\u9762\u677f\u4e0e\u81ea\u52a8\u5316\u6d41\u6c34\u7ebf\u4ea4\u4e92，\u5b9e\u73b0\u5b9e\u65f6\u53ef\u89c1\u6027\u548c\u90e8\u5206\u63a7\u5236，\u800c\u65e0\u9700\u76f4\u63a5\u8bbf\u95eePiP\u7a97\u53e3\u3002\u8fd9\u79cd\u900f\u660e\u800c\u5b89\u5168\u7684\u901a\u4fe1\u901a\u9053\u786e\u4fdd\u4e86\u4fe1\u4efb\u548c\u53ef\u7528\u6027，\u7279\u522b\u662f\u5728\u957f\u65f6\u95f4\u8fd0\u884c\u6216\u90e8\u5206\u76d1\u7763\u7684\u5de5\u4f5c\u6d41\u4e2d\u3002<\/p>\n
4.4 \u7cfb\u7edf\u7ea7\u5f71\u54cd<\/h4>\n
PiP\u754c\u9762\u4e0d\u4ec5\u4ec5\u662fUX\u6539\u8fdb\u2014\u2014\u5b83\u662f\u4e00\u79cd\u7cfb\u7edf\u7ea7\u62bd\u8c61，\u534f\u8c03\u4e86\u5e76\u53d1\u6027\u3001\u53ef\u7528\u6027\u548c\u5b89\u5168\u6027\u3002\u5b83\u5c06\u81ea\u52a8\u5316\u6267\u884c\u4e0e\u524d\u53f0\u4ea4\u4e92\u6027\u89e3\u8026，\u4e3a\u57fa\u4e8eGUI\u7684\u4ee3\u7406\u5f15\u5165\u4e86\u65b0\u7684\u9694\u79bb\u539f\u8bed，\u5e76\u901a\u8fc7\u6c99\u76d2\u5316\u526f\u4f5c\u7528\u7b80\u5316\u4e86\u6545\u969c\u6062\u590d\u3002\u901a\u8fc7\u4ee5\u6700\u5c0f\u7684\u7cfb\u7edf\u5f00\u9500\u5229\u7528\u73b0\u6709RDP\u80fd\u529b，PiP\u754c\u9762\u4e3a\u53ef\u6269\u5c55\u684c\u9762\u81ea\u52a8\u5316\u63d0\u4f9b\u4e86\u4e00\u79cd\u5b9e\u7528\u4e14\u5411\u540e\u517c\u5bb9\u7684\u65b9\u6cd5\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002652-6ac834cc45576.png\")
<\/p>\n
\u56fe13. UFO\u4e2d\u652f\u6301\u591a\u8f6e\u7ec6\u5316\u7684\u4ea4\u4e92\u5f0f\u4f1a\u8bdd\u6a21\u578b\u3002<\/p>\n
5 \u5b9e\u73b0\u4e0e\u4e13\u4e1a\u5de5\u7a0b\u8bbe\u8ba1<\/h3>\n
\u6211\u4eec\u5c06UFO\u5b9e\u73b0\u4e3a\u4e00\u4e2a\u5168\u6808\u684c\u9762\u81ea\u52a8\u5316\u6846\u67b6，\u8de8\u8d8a\u8d85\u8fc730,000\u884cPython\u548cC#\u4ee3\u7801\u3002Python\u4f5c\u4e3a\u4ee3\u7406\u7f16\u6392\u3001\u63a7\u5236\u903b\u8f91\u548cAPI\u96c6\u6210\u7684\u6838\u5fc3\u8fd0\u884c\u65f6\u73af\u5883，\u800cC#\u652f\u6301GUI\u5f00\u53d1\u3001\u8c03\u8bd5\u754c\u9762\u548cWindows\u7279\u5b9a\u64cd\u4f5c（\u5982\u753b\u4e2d\u753b\u684c\u9762）\u3002\u4e3a\u4e86\u652f\u6301\u68c0\u7d22\u589e\u5f3a\u63a8\u7406，UFO\u5229\u7528Sentence Transformers [46]\u8fdb\u884c\u57fa\u4e8e\u5d4c\u5165\u7684\u6587\u6863\u548c\u7ecf\u9a8c\u68c0\u7d22\u3002<\/p>\n
\u9664\u4e86\u6838\u5fc3\u529f\u80fd\u5916，UFO\u8fd8\u6574\u5408\u4e86\u591a\u4e2a\u4e13\u4e1a\u5de5\u7a0b\u7ec4\u4ef6，\u9488\u5bf9\u5173\u952e\u7cfb\u7edf\u76ee\u6807：\u53ef\u7ec4\u5408\u6027\u3001\u4ea4\u4e92\u6027\u3001\u53ef\u8c03\u8bd5\u6027\u548c\u53ef\u6269\u5c55\u90e8\u7f72\u3002\u6211\u4eec\u5728\u4e0b\u9762\u91cd\u70b9\u4ecb\u7ecd\u51e0\u4e2a\u5173\u952e\u673a\u5236\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002652-6ac834cc77365.png\")
<\/p>\n
\u56fe14. UFO2\u4e2d\u91c7\u7528\u7684\u5b89\u5168\u4fdd\u969c\u673a\u5236\u3002<\/p>\n
5.1 \u591a\u8f6e\u4efb\u52a1\u6267\u884c<\/h4>\n
\u4e0e\u65e0\u72b6\u6001\u7684\u4e00\u6b21\u6027\u4ee3\u7406\u4e0d\u540c，UFO\u91c7\u7528\u57fa\u4e8e\u4f1a\u8bdd\u7684\u6267\u884c\u6a21\u578b\u6765\u652f\u6301\u8fed\u4ee3\u3001\u4ea4\u4e92\u5f0f\u5de5\u4f5c\u6d41（\u56fe13）\u3002\u6bcf\u4e2aSession\u5728\u591a\u4e2a\u6267\u884cRound\u4e2d\u7ef4\u62a4\u6301\u4e45\u4e0a\u4e0b\u6587\u8bb0\u5fc6\u2014\u2014\u5305\u62ec\u4e2d\u95f4\u7ed3\u679c\u3001\u4efb\u52a1\u8fdb\u5ea6\u548c\u5e94\u7528\u7a0b\u5e8f\u72b6\u6001\u3002\u7528\u6237\u53ef\u4ee5\u7ec6\u5316\u5148\u524d\u6307\u4ee4\u3001\u542f\u52a8\u540e\u7eed\u4efb\u52a1，\u6216\u5728\u4ee3\u7406\u9047\u5230\u6a21\u7cca\u6216\u4e0d\u5b89\u5168\u64cd\u4f5c\u65f6\u8fdb\u884c\u5e72\u9884\u3002<\/p>\n
\u8fd9\u79cd\u591a\u8f6e\u4ea4\u4e92\u8303\u5f0f\u4fc3\u8fdb\u590d\u6742\u4efb\u52a1\u7684\u6e10\u8fdb\u6536\u655b，\u540c\u65f6\u4fdd\u6301\u900f\u660e\u6027\u548c\u4eba\u5de5\u76d1\u7763\u3002\u5b83\u4f7fUFO2\u80fd\u591f\u652f\u6301\u4eba\u5728\u73af\u4e2d\u7684\u7ec6\u5316\u7b56\u7565，\u5c06\u9759\u6001LLM\u5de5\u4f5c\u6d41\u4e0e\u52a8\u6001\u7528\u6237\u6307\u5bfc\u6865\u63a5\u3002<\/p>\n
5.2 \u5b89\u5168\u4fdd\u969c\u673a\u5236<\/h4>\n
\u867d\u7136\u81ea\u52a8\u5316\u5927\u5e45\u63d0\u9ad8\u751f\u4ea7\u529b，\u4f46\u4efb\u4f55CUA\u90fd\u5e26\u6709\u6267\u884c\u4e0d\u5b89\u5168\u64cd\u4f5c\u7684\u56fa\u6709\u98ce\u9669，\u53ef\u80fd\u5bf9\u7528\u6237\u6570\u636e\u6216\u7cfb\u7edf\u7a33\u5b9a\u6027\u4ea7\u751f\u4e0d\u5229\u5f71\u54cd[10, 47]\u3002\u793a\u4f8b\u5305\u62ec\u5220\u9664\u5173\u952e\u6587\u4ef6\u3001\u8fc7\u65e9\u7ec8\u6b62\u5e94\u7528\u7a0b\u5e8f（\u5bfc\u81f4\u672a\u4fdd\u5b58\u6570\u636e\u4e22\u5931）\u6216\u672a\u7ecf\u660e\u786e\u540c\u610f\u6fc0\u6d3b\u654f\u611f\u8bbe\u5907（\u5982\u7f51\u7edc\u6444\u50cf\u5934）\u3002\u8fd9\u4e9b\u64cd\u4f5c\u6784\u6210\u4e25\u91cd\u98ce\u9669，\u53ef\u80fd\u9020\u6210\u4e0d\u53ef\u6062\u590d\u7684\u635f\u5bb3\u6216\u5b89\u5168\u6f0f\u6d1e\u3002<\/p>\n
\u4e3a\u4e86\u7f13\u89e3\u6b64\u7c7b\u98ce\u9669，UFO2\u6574\u5408\u4e86\u663e\u5f0f\u5b89\u5168\u4fdd\u969c\u673a\u5236，\u65e8\u5728\u4e3b\u52a8\u68c0\u6d4b\u6f5c\u5728\u5371\u9669\u52a8\u4f5c，\u5982\u56fe14\u6240\u793a\u3002\u5177\u4f53\u800c\u8a00，\u6bcf\u5f53APPAGENT\u8bc6\u522b\u5230\u5339\u914d\u9884\u5b9a\u4e49\u98ce\u9669\u6807\u51c6\u7684\u52a8\u4f5c\u65f6，\u5b83\u8f6c\u6362\u5230\u4e13\u7528\u7684PENDING\u72b6\u6001，\u6682\u505c\u6267\u884c\u5e76\u4e3b\u52a8\u63d0\u793a\u7528\u6237\u786e\u8ba4\u3002\u53ea\u6709\u5728\u6536\u5230\u660e\u786e\u7528\u6237\u540c\u610f\u540e，\u4ee3\u7406\u624d\u7ee7\u7eed；\u5426\u5219，\u52a8\u4f5c\u88ab\u4e2d\u6b62\u4ee5\u9632\u6b62\u4f24\u5bb3\u3002\u4ec0\u4e48\u6784\u6210\u98ce\u9669\u52a8\u4f5c\u7684\u5b9a\u4e49\u548c\u8303\u56f4\u53ef\u901a\u8fc7\u7b80\u5355\u7684\u57fa\u4e8e\u63d0\u793a\u7684\u754c\u9762\u5b8c\u5168\u81ea\u5b9a\u4e49，\u4f7f\u7528\u6237\u548c\u7cfb\u7edf\u7ba1\u7406\u5458\u80fd\u591f\u6839\u636e\u5176\u7ec4\u7ec7\u7684\u7279\u5b9a\u98ce\u9669\u7b56\u7565\u7cbe\u786e\u8c03\u6574\u5b89\u5168\u4fdd\u969c\u884c\u4e3a\u3002\u8fd9\u79cd\u7075\u6d3b\u6027\u5141\u8bb8\u5b89\u5168\u4fdd\u969c\u7cfb\u7edf\u968f\u7740\u81ea\u52a8\u5316\u9700\u6c42\u7684\u53d1\u5c55\u800c\u52a8\u6001\u9002\u5e94\u3002<\/p>\n
\u901a\u8fc7\u8fd9\u79cd\u4e3b\u52a8\u5b89\u5168\u68c0\u67e5\u6846\u67b6，UFO2\u663e\u8457\u964d\u4f4e\u4e86\u6267\u884c\u6709\u5bb3\u64cd\u4f5c\u7684\u53ef\u80fd\u6027，\u4ece\u800c\u589e\u5f3a\u4e86\u6574\u4f53\u7cfb\u7edf\u5b89\u5168\u6027\u3001\u7528\u6237\u4fe1\u4efb\u548c\u771f\u5b9e\u4e16\u754c\u90e8\u7f72\u4e2d\u7684\u7a33\u5065\u6027\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002652-6ac834ccad850.png\")
<\/p>\n
\u56fe15. \u4ee3\u7406\u6ce8\u518c\u8868\u652f\u6301\u5c06\u7b2c\u4e09\u65b9\u7ec4\u4ef6\u65e0\u7f1d\u5305\u88c5\u5230APPAGENT\u6846\u67b6\u4e2d\u3002\u56fe16. AgentOS\u5373\u670d\u52a1\u4e2d\u4f7f\u7528\u7684\u5ba2\u6237\u7aef-\u670d\u52a1\u5668\u90e8\u7f72\u6a21\u578b\u3002<\/p>\n
5.3 \u4e00\u5207\u7686\u53ef\u4e3aAPPAGENT<\/h4>\n
\u4e3a\u4e86\u652f\u6301\u751f\u6001\u7cfb\u7edf\u53ef\u6269\u5c55\u6027，UFO2\u5f15\u5165\u4e86\u4ee3\u7406\u6ce8\u518c\u8868\u673a\u5236，\u5c06\u4efb\u610f\u7b2c\u4e09\u65b9\u7ec4\u4ef6\u5c01\u88c5\u4e3a\u53ef\u63d2\u62d4\u7684APPAGENT（\u56fe15）\u3002\u901a\u8fc7\u7b80\u5355\u7684\u6ce8\u518cAPI，\u5916\u90e8\u81ea\u52a8\u5316\u89e3\u51b3\u65b9\u6848\u2014\u2014\u5982\u9886\u57df\u7279\u5b9a\u526f\u9a7e\u9a76\u6216\u4e13\u6709\u5de5\u5177\u2014\u2014\u53ef\u4ee5\u7528\u8f7b\u91cf\u7ea7\u517c\u5bb9\u57ab\u7247\u5305\u88c5，\u5411HostAgent\u66b4\u9732\u7edf\u4e00\u63a5\u53e3\u3002<\/p>\n
\u8fd9\u79cd\u8bbe\u8ba1\u4f7fHostAgent\u80fd\u591f\u540c\u7b49\u5bf9\u5f85\u539f\u751f\u548c\u5916\u90e8APPAGENT，\u6839\u636e\u80fd\u529b\u548c\u4e13\u957f\u5206\u6d3e\u5b50\u4efb\u52a1\u3002\u6211\u4eec\u53d1\u73b0，\u5373\u4f7f\u662f\u6700\u5c0f\u7684\u5305\u88c5\u5668（\u5982OpenAI Operator [12]）\u4e5f\u80fd\u5e26\u6765\u53ef\u89c2\u7684\u6027\u80fd\u63d0\u5347，\u7a81\u663e\u4e86\u7cfb\u7edf\u7684\u6a21\u5757\u5316\u53ca\u5176\u4ee5\u6700\u5c0f\u5de5\u7a0b\u5f00\u9500\u6574\u5408\u591a\u6837\u5316\u6267\u884c\u540e\u7aef\u7684\u80fd\u529b\u3002<\/p>\n
5.4 \u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf\u5373\u670d\u52a1<\/h4>\n
UFO2\u91c7\u7528\u5ba2\u6237\u7aef-\u670d\u52a1\u5668\u67b6\u6784\u4ee5\u652f\u6301\u5927\u89c4\u6a21\u5b9e\u9645\u90e8\u7f72（\u56fe16）\u3002\u8f7b\u91cf\u7ea7\u5ba2\u6237\u7aef\u9a7b\u7559\u5728\u7528\u6237\u673a\u5668\u4e0a，\u8d1f\u8d23GUI\u64cd\u4f5c\u548c\u5e94\u7528\u7a0b\u5e8f\u4fa7\u611f\u77e5\u3002\u540c\u65f6，\u96c6\u4e2d\u5f0f\u670d\u52a1\u5668（\u8fd0\u884c\u5728\u672c\u5730\u6216\u4e91\u7aef）\u6258\u7ba1HostAgent\/APPAGENT\u903b\u8f91\u3001\u7f16\u6392\u5de5\u4f5c\u6d41\u5e76\u5904\u7406LLM\u67e5\u8be2\u3002<\/p>\n
\u8fd9\u79cd\u63a7\u5236\u4e0e\u6267\u884c\u7684\u5206\u79bb\u63d0\u4f9b\u4e86\u82e5\u5e72\u7cfb\u7edf\u7ea7\u4f18\u52bf：<\/p>\n
\n- \n
\u5b89\u5168\u6027：\u654f\u611f\u7f16\u6392\u548c\u6a21\u578b\u6267\u884c\u4e0e\u7528\u6237\u8bbe\u5907\u9694\u79bb\u3002<\/p>\n<\/li>\n
- \n
\u53ef\u7ef4\u62a4\u6027：\u670d\u52a1\u5668\u7aef\u66f4\u65b0\u65e0\u9700\u4fee\u6539\u5ba2\u6237\u7aef\u5373\u53ef\u4f20\u64ad\u3002<\/p>\n<\/li>\n
- \n
\u53ef\u6269\u5c55\u6027：\u7cfb\u7edf\u53ef\u4ee5\u901a\u8fc7\u96c6\u4e2d\u5f0f\u8c03\u5ea6\u548c\u8d1f\u8f7d\u7ba1\u7406\u652f\u6301\u591a\u4e2a\u5e76\u53d1\u5ba2\u6237\u7aef\u3002<\/p>\n<\/li>\n<\/ul>\n
\u5ba2\u6237\u7aef-\u670d\u52a1\u5668\u8fb9\u754c\u5f3a\u5236\u6e05\u6670\u7684\u670d\u52a1\u62bd\u8c61，\u4fc3\u8fdb\u6a21\u5757\u5316\u5e76\u7b80\u5316\u4f01\u4e1a\u73af\u5883\u4e2d\u7684\u90e8\u7f72\u3002<\/p>\n
5.5 \u5168\u9762\u65e5\u5fd7\u4e0e\u8c03\u8bd5\u57fa\u7840\u8bbe\u65bd<\/h4>\n
\u7a33\u5065\u7684\u53ef\u89c2\u6d4b\u6027\u5bf9\u4e8e\u8bca\u65ad\u6545\u969c\u548c\u652f\u6301\u6301\u7eed\u7cfb\u7edf\u6539\u8fdb\u81f3\u5173\u91cd\u8981\u3002\u4e3a\u6b64，UFO2\u5b9e\u73b0\u4e86\u5168\u9762\u7684\u65e5\u5fd7\u548c\u8c03\u8bd5\u6846\u67b6\u3002\u6bcf\u4e2a\u4f1a\u8bdd\u6355\u83b7\u6267\u884c\u7684\u7ec6\u7c92\u5ea6\u8f68\u8ff9：\u63d0\u793a\u3001LLM\u8f93\u51fa\u3001\u63a7\u4ef6\u5143\u6570\u636e\u3001UI\u72b6\u6001\u5feb\u7167\u548c\u9519\u8bef\u4e8b\u4ef6\u3002<\/p>\n
\u5728\u6bcf\u6b21\u4f1a\u8bdd\u7ed3\u675f\u65f6，UFO2\u5c06\u8fd9\u4e9b\u5236\u54c1\u7f16\u8bd1\u4e3a\u7ed3\u6784\u5316\u7684Markdown\u683c\u5f0f\u6267\u884c\u65e5\u5fd7\u3002\u5f00\u53d1\u8005\u53ef\u4ee5\u68c0\u67e5\u9010\u52a8\u4f5c\u7684\u4ee3\u7406\u51b3\u7b56\u3001\u53ef\u89c6\u5316\u754c\u9762\u72b6\u6001\u8f6c\u6362\u5e76\u91cd\u653e\u884c\u4e3a\u4ee5\u8fdb\u884c\u8c03\u8bd5\u3002\u8be5\u6846\u67b6\u8fd8\u652f\u6301\u63d0\u793a\u7f16\u8f91\u548c\u9009\u62e9\u6027\u91cd\u653e\u4ee5\u8fdb\u884c\u6709\u9488\u5bf9\u6027\u7684\u5047\u8bbe\u6d4b\u8bd5，\u663e\u8457\u52a0\u901f\u8c03\u8bd5\u5468\u671f\u3002\u6211\u4eec\u5728\u56fe17\u4e2d\u5c55\u793a\u4e86\u8fd9\u4e9b\u5de5\u5177\u7684\u793a\u4f8b\u3002<\/p>\n
\u8fd9\u79cd\u53ef\u89c2\u6d4b\u6027\u5c42\u4f5c\u4e3a\u4ee3\u7406\u884c\u4e3a\u7684\u8f7b\u91cf\u7ea7\u6eaf\u6e90\u7cfb\u7edf，\u4fc3\u8fdb\u900f\u660e\u5ea6\u3001\u95ee\u8d23\u5236\u548c\u90e8\u7f72\u671f\u95f4\u7684\u5feb\u901f\u8fed\u4ee3\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002652-6ac834cce9d15.png\")
<\/p>\n
\u56fe17. UFO\u00b2\u4e2dMarkdown\u683c\u5f0f\u65e5\u5fd7\u67e5\u770b\u5668\u548c\u8c03\u8bd5\u5de5\u5177\u7684\u56fe\u793a\u3002<\/p>\n
5.6 \u81ea\u52a8\u5316\u4efb\u52a1\u8bc4\u4f30\u5668<\/h4>\n
\u4e3a\u4e86\u63d0\u4f9b\u7ed3\u6784\u5316\u53cd\u9988\u5e76\u4fc3\u8fdb\u6301\u7eed\u6539\u8fdb，UFO2\u5305\u542b\u57fa\u4e8eLLM-as-a-judge [48]\u7684\u81ea\u52a8\u5316\u4efb\u52a1\u8bc4\u4f30\u5f15\u64ce\u3002\u5982\u56fe18\u6240\u793a，\u8bc4\u4f30\u5668\u89e3\u6790\u4f1a\u8bdd\u8f68\u8ff9\u2014\u2014\u5305\u62ec\u52a8\u4f5c\u3001\u7406\u7531\u548c\u622a\u56fe\u2014\u2014\u5e76\u5e94\u7528CoT\u63a8\u7406\u5c06\u4efb\u52a1\u5206\u89e3\u4e3a\u8bc4\u4f30\u6807\u51c6\u3002<\/p>\n
\u5b83\u5206\u914d\u90e8\u5206\u5206\u6570\u5e76\u7efc\u5408\u603b\u4f53\u7ed3\u679c：\u6210\u529f\u3001\u90e8\u5206\u6210\u529f\u6216\u5931\u8d25\u3002\u8fd9\u79cd\u7ed3\u6784\u5316\u7ed3\u679c\u9988\u5165\u4e0b\u6e38\u4eea\u8868\u677f\u548c\u8c03\u8bd5\u5de5\u5177\u3002\u5b83\u8fd8\u652f\u6301\u81ea\u6211\u76d1\u63a7\u548c\u5931\u8d25\u6848\u4f8b\u7684\u79bb\u7ebf\u5206\u6790，\u95ed\u5408\u6267\u884c\u3001\u8bca\u65ad\u548c\u6539\u8fdb\u4e4b\u95f4\u7684\u5faa\u73af\u3002<\/p>\n
\u603b\u7ed3\u3002 \u8fd9\u4e9b\u5de5\u7a0b\u7ec4\u4ef6\u5c55\u793a\u4e86UFO2\u5bf9\u64cd\u4f5c\u7a33\u5065\u6027\u548c\u53ef\u6269\u5c55\u6027\u7684\u627f\u8bfa\u3002\u4ece\u57fa\u4e8e\u4f1a\u8bdd\u7684\u6267\u884c\u548c\u53ef\u63d2\u62d4\u4ee3\u7406\u5230\u9762\u5411\u670d\u52a1\u7684\u90e8\u7f72\u548c\u53ef\u89c2\u6d4b\u6027\u57fa\u7840\u8bbe\u65bd，\u6bcf\u4e2a\u6a21\u5757\u90fd\u53cd\u6620\u4e86\u4e13\u6ce8\u4e8e\u5c06\u6982\u5ff5\u6027LLM\u4ee3\u7406\u67b6\u6784\u4e0e\u5927\u89c4\u6a21\u90e8\u7f72\u7684\u7cfb\u7edf\u73b0\u5b9e\u6865\u63a5\u7684\u8bbe\u8ba1\u3002<\/p>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002653-6ac834cd37c7b.png\")
<\/p>\n
\u56fe18. \u57fa\u4e8eLLM\u7684\u4efb\u52a1\u8bc4\u4f30\u5668\u5c06CoT\u63a8\u7406\u5e94\u7528\u4e8e\u7ed3\u6784\u5316\u4f1a\u8bdd\u65e5\u5fd7\u3002<\/p>\n
6 \u8bc4\u4f30<\/h3>\n
\u6211\u4eec\u572820\u591a\u4e2aWindows\u5e94\u7528\u7a0b\u5e8f\u4e0a\u4e25\u683c\u6d4b\u8bd5\u4e86UFO\u00b2，\u5305\u62ec\u529e\u516c\u5957\u4ef6\u3001\u6587\u4ef6\u8d44\u6e90\u7ba1\u7406\u5668\u548c\u81ea\u5b9a\u4e49\u4f01\u4e1a\u5de5\u5177，\u4ee5\u8bc4\u4f30\u6027\u80fd\u3001\u6548\u7387\u548c\u7a33\u5065\u6027\u3002\u6211\u4eec\u7684\u5b9e\u9a8c\u8868\u660e：<\/p>\n
- \n
UFO\u00b2\u5b9e\u73b0\u4e86\u9ad8\u51fa10%\u7684\u4efb\u52a1\u5b8c\u6210\u7387\u2014\u2014\u76f8\u5bf9\u4e8e\u5f53\u524d\u6700\u4f73CUA Operator\u63d0\u534750%\u2014\u2014\u8fd9\u5f97\u76ca\u4e8e\u66f4\u6df1\u7684OS\u7ea7\u96c6\u6210\u3002<\/p>\n<\/li>\n
- \n
\u6df7\u5408UIA-\u89c6\u89c9\u65b9\u6cd5\u8bc6\u522b\u4e86UIA\u5355\u72ec\u9057\u6f0f\u7684\u81ea\u5b9a\u4e49\u6216\u975e\u6807\u51c6GUI\u5143\u7d20，\u63d0\u5347\u4e86\u5177\u6709\u4e13\u6709\u63a7\u4ef6\u754c\u9762\u7684\u6210\u529f\u7387\u3002<\/p>\n<\/li>\n
- \n
\u5141\u8bb8AppAgent\u8c03\u7528\u539f\u751fAPI\u6216GUI\u4ea4\u4e92\u5c06\u5b8c\u6210\u7387\u63d0\u9ad8\u8d85\u8fc78%，\u964d\u4f4e\u5ef6\u8fdf\u5e76\u51cf\u5c11\u7eaf\u70b9\u51fb\u5de5\u4f5c\u6d41\u7684\u8106\u5f31\u6027\u3002<\/p>\n<\/li>\n
- \n
\u5229\u7528\u5916\u90e8\u6587\u6863\u548c\u6267\u884c\u65e5\u5fd7\u63d0\u9ad8\u4e86UFO\u00b2\u5904\u7406\u4e0d\u719f\u6089\u529f\u80fd\u7684\u80fd\u529b，\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u3002<\/p>\n<\/li>\n
- \n
\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u5c06\u591a\u4e2a\u6b65\u9aa4\u5408\u5e76\u4e3a\u5355\u4e2aLLM\u8c03\u7528，\u5c06\u63a8\u7406\u6210\u672c\u964d\u4f4e\u9ad8\u8fbe51.5%，\u800c\u4e0d\u5f71\u54cd\u53ef\u9760\u6027\u3002<\/p>\n<\/li>\n
- \n
\u901a\u8fc7\u542f\u7528\u4e00\u5207\u7686\u53ef\u4e3aAppAgent（\u5982Operator），UFO\u00b2\u65e2\u63d0\u5347\u4e86\u6574\u4f53\u6027\u80fd，\u4e5f\u53d1\u6398\u4e86\u6bcf\u4e2a\u5355\u72ec\u4ee3\u7406\u7684\u5168\u90e8\u6f5c\u529b\u3002<\/p>\n<\/li>\n
\u603b\u4f53\u800c\u8a00，\u8fd9\u4e9b\u7ed3\u679c\u8bc1\u5b9e\u4e86UFO\u00b2\u4e0eWindows\u548c\u5e94\u7528\u7a0b\u5e8f\u7ea7API\u7684\u66f4\u6df1\u96c6\u6210\u4ea7\u751f\u4e86\u66f4\u9ad8\u7684\u6027\u80fd\u548c\u66f4\u4f4e\u7684\u5f00\u9500，\u4e3aOS\u539f\u751f\u684c\u9762\u81ea\u52a8\u5316\u65b9\u6cd5\u63d0\u4f9b\u4e86\u4ee4\u4eba\u4fe1\u670d\u7684\u6848\u4f8b\u3002<\/p>\n
6.1 \u5b9e\u9a8c\u8bbe\u7f6e<\/h4>\n
\u90e8\u7f72\u73af\u5883\u3002 \u57fa\u51c6\u73af\u5883\u6258\u7ba1\u5728\u9694\u79bb\u7684\u865a\u62df\u673a\u4e0a，\u914d\u59078\u4e2aAMD Ryzen 7 CPU\u6838\u5fc3\u548c8 GB\u5185\u5b58，\u5339\u914d\u5178\u578b\u90e8\u7f72\u6761\u4ef6\u3002\u6240\u6709GPT\u7cfb\u5217\u6a21\u578b（GPT-4V\u3001GPT-4o\u3001o1\u548cOperator）\u901a\u8fc7Azure OpenAI\u670d\u52a1\u8bbf\u95ee，\u800cOmniParser-v2\u89c6\u89c9\u6a21\u578b\u5728\u914d\u5907NVIDIA A100 80GB GPU\u7684\u5355\u72ec\u865a\u62df\u673a\u4e0a\u8fd0\u884c，\u4ee5\u652f\u6301\u9ad8\u6548\u548c\u9ad8\u541e\u5410\u91cf\u7684\u89c6\u89c9\u5b9a\u4f4d\u3002<\/p>\n
\u57fa\u51c6\u3002 \u6211\u4eec\u4f7f\u7528\u4e24\u4e2a\u5df2\u5efa\u7acb\u7684\u4ee5Windows\u4e3a\u4e2d\u5fc3\u7684\u81ea\u52a8\u5316\u57fa\u51c6\u8bc4\u4f30UFO\u00b2：<\/p>\n
\n- \n
Windows Agent Arena (WAA) [49]：\u5305\u542b\u8de815\u4e2a\u5e38\u7528Windows\u5e94\u7528\u7a0b\u5e8f\u7684154\u4e2a\u5b9e\u65f6\u81ea\u52a8\u5316\u4efb\u52a1，\u5305\u62ec\u529e\u516c\u751f\u4ea7\u529b\u5de5\u5177\u3001Web\u6d4f\u89c8\u5668\u3001\u7cfb\u7edf\u5b9e\u7528\u7a0b\u5e8f\u3001\u5f00\u53d1\u73af\u5883\u548c\u591a\u5a92\u4f53\u5e94\u7528\u3002\u6bcf\u4e2a\u4efb\u52a1\u5305\u62ec\u7528\u4e8e\u81ea\u52a8\u6b63\u786e\u6027\u68c0\u67e5\u7684\u81ea\u5b9a\u4e49\u9a8c\u8bc1\u811a\u672c\u3002<\/p>\n<\/li>\n
- \n
OSWorld-W [50]：\u4e13\u95e8\u4e3aWindows\u5b9a\u5236\u7684OSWorld\u57fa\u51c6\u7684\u9488\u5bf9\u6027\u5b50\u96c6，\u5305\u542b\u8de8\u529e\u516c\u5e94\u7528\u7a0b\u5e8f\u3001\u6d4f\u89c8\u5668\u4ea4\u4e92\u548c\u6587\u4ef6\u7cfb\u7edf\u64cd\u4f5c\u768449\u4e2a\u5b9e\u65f6\u4efb\u52a1\u3002\u4efb\u52a1\u540c\u6837\u914d\u5907\u624b\u5de5\u7f16\u5199\u7684\u9a8c\u8bc1\u811a\u672c\u4ee5\u8fdb\u884c\u53ef\u9760\u7684\u7ed3\u679c\u9a8c\u8bc1\u3002<\/p>\n<\/li>\n<\/ul>\n
\u6bcf\u4e2a\u4efb\u52a1\u72ec\u7acb\u8fd0\u884c，\u9a8c\u8bc1\u4e25\u683c\u9075\u5faa\u6bcf\u4e2a\u57fa\u51c6\u63d0\u4f9b\u7684\u539f\u59cb\u811a\u672c\u3002<\/p>\n
\u57fa\u7ebf\u3002 \u6211\u4eec\u5c06UFO\u00b2\u4e0e\u4e94\u4e2a\u4ee3\u8868\u6027\u7684\u6700\u5148\u8fdbCUA\u8fdb\u884c\u6bd4\u8f83，\u6bcf\u4e2a\u90fd\u5229\u7528GPT-4o\u4f5c\u4e3a\u63a8\u7406\u5f15\u64ce：<\/p>\n
\n- \n
UFO [10]：\u4e00\u4e2a\u5f00\u521b\u6027\u7684\u591a\u4ee3\u7406\u3001\u4ee5GUI\u4e3a\u4e2d\u5fc3\u7684\u81ea\u52a8\u5316\u7cfb\u7edf，\u4e13\u4e3aWindows\u8bbe\u8ba1，\u96c6\u6210UIA\u548c\u89c6\u89c9\u611f\u77e5\u3002<\/p>\n<\/li>\n
- \n
NAVI [49]：\u6765\u81eaWAA\u7684\u5355\u4ee3\u7406\u57fa\u7ebf，\u5229\u7528\u622a\u56fe\u548c\u65e0\u969c\u788d\u6570\u636e\u8fdb\u884cGUI\u7406\u89e3\u3002<\/p>\n<\/li>\n
- \n
OmniAgent [18]：\u91c7\u7528OmniParser\u8fdb\u884c\u89c6\u89c9\u5b9a\u4f4d，\u7ed3\u5408\u57fa\u4e8eGPT\u7684\u52a8\u4f5c\u89c4\u5212\u3002<\/p>\n<\/li>\n
- \n
Agent S [51]：\u5177\u6709\u7ecf\u9a8c\u9a71\u52a8\u5206\u5c42\u89c4\u5212\u7684\u591a\u4ee3\u7406\u67b6\u6784，\u9488\u5bf9\u590d\u6742\u591a\u6b65\u9aa4\u4efb\u52a1\u4f18\u5316\u3002<\/p>\n<\/li>\n
- \n
Operator [12]：\u6765\u81eaOpenAI\u7684\u8fd1\u671f\u9ad8\u6027\u80fdCUA，\u901a\u8fc7\u622a\u56fe\u6a21\u62df\u7c7b\u4eba\u9f20\u6807\u548c\u952e\u76d8\u4ea4\u4e92\u3002<\/p>\n<\/li>\n<\/ul>\n
\u8fd9\u4e9b\u57fa\u7ebf\u56e0\u5176\u4ee3\u8868\u4e0d\u540c\u67b6\u6784\u548c\u8bbe\u8ba1\u8303\u5f0f（\u5982\u5355\u4ee3\u7406\u4e0e\u591a\u4ee3\u7406\u3001\u7eafGUI\u4e0e\u6df7\u5408\u65b9\u6cd5）\u800c\u88ab\u9009\u4e2d\u3002\u4e3a\u786e\u4fdd\u516c\u5e73\u6027，\u6bcf\u4e2a\u4ee3\u7406\u9650\u5236\u4e3a\u6bcf\u4e2a\u4efb\u52a1\u6700\u591a30\u4e2a\u6267\u884c\u6b65\u9aa4，\u53cd\u6620\u5b9e\u9645\u7528\u6237\u671f\u671b\u5e76\u9632\u6b62\u8fc7\u957f\u7684\u4efb\u52a1\u6267\u884c\u3002\u6b64\u5916，\u6211\u4eec\u8bc4\u4f30\u4e86UFO\u00b2\u7684\u57fa\u7840\u7248\u672c（\u79f0\u4e3aUFO\u00b2-base），\u4ec5\u4f7f\u7528UIA\u68c0\u6d4b\u3001\u57fa\u4e8eGUI\u7684\u4ea4\u4e92，\u4e0d\u542b\u52a8\u6001\u77e5\u8bc6\u96c6\u6210，\u4ee5\u53caUFO\u00b2\u7684\u5b8c\u6574\u5b9e\u73b0，\u5177\u6709\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u3001\u7ec4\u5408GUI-API\u4ea4\u4e92\u548c\u6301\u7eed\u77e5\u8bc6\u589e\u5f3a\u3002API\u96c6\u6210\u9009\u62e9\u6027\u5730\u5728OSWorld-W\u5185\u7684\u4e09\u4e2a\u529e\u516c\u5e94\u7528\u7a0b\u5e8f\u4e2d\u5b9e\u73b0\u4f5c\u4e3a\u8bf4\u660e\u6027\u793a\u4f8b；WAA\u4efb\u52a1\u672a\u5f15\u5165API\u3002\u66f4\u591a\u5b9e\u73b0\u7ec6\u8282\u89c1\u7b2c6.4\u8282\u3002<\/p>\n
\u8bc4\u4f30\u6307\u6807\u3002 \u6211\u4eec\u4f7f\u7528\u4e24\u4e2a\u4e3b\u8981\u6027\u80fd\u8bc4\u4f30\u6307\u6807：<\/p>\n
\n- \n
\u6210\u529f\u7387（SR）：\u5b9a\u4e49\u4e3a\u6210\u529f\u5b8c\u6210\u7684\u4efb\u52a1\u767e\u5206\u6bd4，\u901a\u8fc7\u57fa\u51c6\u81ea\u8eab\u7684\u9a8c\u8bc1\u811a\u672c\u9a8c\u8bc1\u3002<\/p>\n<\/li>\n
- \n
\u5e73\u5747\u5b8c\u6210\u6b65\u9aa4（ACS）：\u6d4b\u91cf\u6bcf\u4e2a\u4efb\u52a1\u6240\u9700\u7684LLM\u53c2\u4e0e\u52a8\u4f5c\u63a8\u7406\u6b65\u9aa4\u7684\u5e73\u5747\u6570\u3002\u66f4\u5c11\u7684\u6b65\u9aa4\u5bf9\u5e94\u66f4\u9ad8\u7684\u6548\u7387，\u76f4\u63a5\u5173\u8054\u66f4\u4f4e\u7684\u63a8\u7406\u5ef6\u8fdf\u548c\u51cf\u5c11\u7684\u8ba1\u7b97\u5f00\u9500\u3002<\/p>\n<\/li>\n<\/ul>\n
\u88681. \u5404\u4ee3\u7406\u5728WAA\u548cOSWorld-W\u57fa\u51c6\u4e0a\u7684\u6210\u529f\u7387（SR）\u6bd4\u8f83\u3002<\/p>\n
\n\u4ee3\u7406\u6a21\u578bWAAOSWorld-W<\/tr>\n \n\nUFO<\/td>\n GPT-4o<\/td>\n 19.5%<\/td>\n 12.2%<\/td>\n<\/tr>\n \nNAVI<\/td>\n GPT-4o<\/td>\n 13.3%<\/td>\n 10.2%<\/td>\n<\/tr>\n \nOmniAgent<\/td>\n GPT-4o<\/td>\n 19.5%<\/td>\n 8.2%<\/td>\n<\/tr>\n \nAgent S<\/td>\n GPT-4o<\/td>\n 18.2%<\/td>\n 12.2%<\/td>\n<\/tr>\n \nOperator<\/td>\n computer-use<\/td>\n 20.8%<\/td>\n 14.3%<\/td>\n<\/tr>\n \nUFO\u00b2-base<\/td>\n GPT-4o<\/td>\n 23.4%<\/td>\n 16.3%<\/td>\n<\/tr>\n \nUFO\u00b2-base<\/td>\n o1<\/td>\n 25.3%<\/td>\n 16.3%<\/td>\n<\/tr>\n \nUFO\u00b2<\/td>\n GPT-4o<\/td>\n 27.9%<\/td>\n 28.6%<\/td>\n<\/tr>\n \nUFO\u00b2<\/td>\n o1<\/td>\n 30.5%<\/td>\n 32.7%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u8fd9\u4e9b\u6307\u6807\u6709\u6548\u53cd\u6620\u4e86\u529f\u80fd\u6709\u6548\u6027\u548c\u5b9e\u9645\u6548\u7387，\u63d0\u4f9b\u4e86\u771f\u5b9e\u4e16\u754c\u81ea\u52a8\u5316\u6027\u80fd\u7684\u6e05\u6670\u6307\u6807\u3002<\/p>\n
6.2 \u6210\u529f\u7387\u6bd4\u8f83<\/h4>\n
\u88681. \u5404\u4ee3\u7406\u5728WAA\u548cOSWorld-W\u57fa\u51c6\u4e0a\u7684\u6210\u529f\u7387（SR）\u6bd4\u8f83\u3002<\/p>\n
\u6b64\u5916，UFO\u00b2\u7684\u5b8c\u6574\u7248\u672c，\u7ed3\u5408\u6df7\u5408GUI-API\u52a8\u4f5c\u6267\u884c\u3001\u9ad8\u7ea7\u89c6\u89c9\u5b9a\u4f4d\u548c\u6301\u7eed\u77e5\u8bc6\u96c6\u6210，\u8fdb\u4e00\u6b65\u653e\u5927\u4e86\u8fd9\u4e9b\u6027\u80fd\u589e\u76ca\u3002\u4f7f\u7528GPT-4o，UFO\u00b2\u5728WAA\u4e0a\u8fbe\u523027.9%\u7684SR，\u5927\u5e45\u8d85\u8fc7Operator 7.1%\u3002\u6027\u80fd\u5dee\u8ddd\u5728OSWorld-W\u4e0a\u66f4\u52a0\u660e\u663e，UFO\u00b2\u8fbe\u523028.6%\u7684SR，\u800cOperator\u4e3a14.3%，\u6709\u6548\u7ffb\u500d\u5176\u6210\u529f\u7387\u3002\u5229\u7528\u66f4\u5f3a\u7684o1\u6a21\u578b\u8fdb\u4e00\u6b65\u5c06UFO\u00b2\u7684\u6027\u80fd\u63d0\u5347\u81f330.5%（WAA）\u548c32.7%（OSWorld-W），\u5de9\u56fa\u5176\u9886\u5148\u5730\u4f4d\u3002<\/p>\n
\u8fd9\u4e9b\u663e\u8457\u7684\u6027\u80fd\u6539\u8fdb\u6e05\u695a\u5730\u5f3a\u8c03\u4e86UFO\u00b2\u4e0eOS\u7ea7\u673a\u5236\u6df1\u5ea6\u96c6\u6210\u53ca\u5176\u7edf\u4e00\u7cfb\u7edf\u67b6\u6784\u7684\u4f18\u52bf\u3002\u867d\u7136\u5148\u524dCUA\u4e3b\u8981\u5f3a\u8c03\u6a21\u578b\u7ea7\u4f18\u5316\u6216\u5355\u7eaf\u4f9d\u8d56\u89c6\u89c9\u754c\u9762，\u4f46\u6211\u4eec\u7684\u7ed3\u679c\u8868\u660e，\u7a33\u5065\u7684\u7cfb\u7edf\u7ea7\u7f16\u6392\u2014\u2014\u7ed3\u5408\u7ed3\u6784\u5316OS API\u3001\u4e13\u95e8\u7684\u5e94\u7528\u77e5\u8bc6\u548c\u6df7\u5408GUI-API\u4ea4\u4e92\u2014\u2014\u5bf9\u4e8e\u5b9e\u73b0\u66f4\u9ad8\u7684\u4efb\u52a1\u53ef\u9760\u6027\u548c\u66f4\u5e7f\u6cdb\u7684\u81ea\u52a8\u5316\u8986\u76d6\u81f3\u5173\u91cd\u8981\u3002\u5173\u952e\u7684\u662f，\u5373\u4f7f\u662f\u901a\u7528\u3001\u4e0d\u592a\u4e13\u95e8\u7684\u6a21\u578b\u5982GPT-4o，\u5f53\u96c6\u6210\u5728\u5168\u9762\u7684UFO\u00b2\u6846\u67b6\u5185\u65f6，\u4e5f\u80fd\u8d85\u8d8a\u9ad8\u5ea6\u4e13\u95e8\u7684CUA（\u5982Operator）\u3002\u8fd9\u4e00\u89c1\u89e3\u5f3a\u5316\u4e86\u67b6\u6784\u8bbe\u8ba1\u548cOS\u96c6\u6210\u4f5c\u4e3a\u5b9e\u7528\u3001\u53ef\u90e8\u7f72\u684c\u9762\u81ea\u52a8\u5316\u89e3\u51b3\u65b9\u6848\u5173\u952e\u9a71\u52a8\u529b\u7684\u4ef7\u503c\u3002<\/p>\n
\u6027\u80fd\u7ec6\u5206\u3002 \u88682\u5448\u73b0\u4e86WAA\u548cOSWorld-W\u57fa\u51c6\u4e0a\u6309\u5e94\u7528\u7a0b\u5e8f\u7c7b\u578b\u7684\u6210\u529f\u7387（SR）\u8be6\u7ec6\u7ec6\u5206，\u4f7f\u66f4\u6df1\u5165\u7406\u89e3UFO\u00b2\u5728\u54ea\u4e9b\u65b9\u9762\u53d6\u5f97\u7279\u522b\u5f3a\u7684\u7ed3\u679c，\u5e76\u8bc6\u522b\u8fdb\u4e00\u6b65\u7cfb\u7edf\u7ea7\u6539\u8fdb\u7684\u9886\u57df\u3002\u5728\u591a\u4e2a\u7c7b\u522b\u4e2d，UFO\u00b2\u59cb\u7ec8\u8868\u73b0\u51fa\u4f18\u4e8e\u57fa\u7ebfCUA\u7684\u6027\u80fd，\u7279\u522b\u662f\u5728\u9700\u8981\u66f4\u6df1OS\u96c6\u6210\u6216\u590d\u6742\u591a\u6b65\u9aa4\u4efb\u52a1\u6267\u884c\u7684\u5e94\u7528\u7a0b\u5e8f\u573a\u666f\u4e2d\u3002<\/p>\n
\u503c\u5f97\u6ce8\u610f\u7684\u662f，UFO\u00b2\u5728\u6d89\u53caWeb\u6d4f\u89c8\u5668\u548c\u7f16\u7801\u73af\u5883\u7684\u4efb\u52a1\u4e2d\u8868\u73b0\u51fa\u8272\u3002\u4f8b\u5982，\u6700\u5f3a\u914d\u7f6e（UFO\u00b2 with o1）\u5728Web\u6d4f\u89c8\u5668\u4efb\u52a1\u4e2d\u8fbe\u5230\u4ee4\u4eba\u5370\u8c61\u6df1\u523b\u768440.0% SR\u2014\u2014\u663e\u8457\u8d85\u8fc7\u6b21\u4f18\u57fa\u7ebf（OmniAgent）\u8d85\u8fc712%\u3002\u7c7b\u4f3c\u5730，\u5728\u7f16\u7801\u76f8\u5173\u5de5\u4f5c\u6d41\u4e2d，UFO\u00b2（GPT-4o）\u8fbe\u5230\u6700\u9ad8SR 58.3%，\u663e\u8457\u8d85\u8fc7\u6240\u6709\u7ade\u4e89CUA\u3002\u8fd9\u4e9b\u7ed3\u679c\u5f3a\u8c03\u4e86UFO\u00b2\u6df7\u5408GUI-API\u65b9\u6cd5\u548c\u6301\u7eed\u77e5\u8bc6\u96c6\u6210\u7684\u6709\u6548\u6027，\u5b83\u4eec\u5b9e\u73b0\u4e86\u66f4\u7cbe\u786e\u7684\u52a8\u4f5c\u63a8\u7406，\u51cf\u5c11\u4e86GUI\u53d8\u5316\u5bfc\u81f4\u7684\u8106\u5f31\u6027，\u5e76\u663e\u8457\u63d0\u5347\u4e86\u591a\u6b65\u9aa4\u5de5\u4f5c\u6d41\u7684\u53ef\u9760\u6027\u3002<\/p>\n
\u7ec6\u5206\u8fdb\u4e00\u6b65\u63ed\u793a\u4e86\u5e94\u7528\u7a0b\u5e8f\u590d\u6742\u6027\u3001\u6d41\u884c\u5ea6\u548c\u7cfb\u7edf\u7ea7\u652f\u6301\u4e4b\u95f4\u7684\u660e\u786e\u5173\u8054\u3002\u6d89\u53caLibreOffice（WAA\u7684Office\u7c7b\u522b）\u7684\u4efb\u52a1\u5728\u6240\u6709\u8bc4\u4f30\u7684CUA\u4e2d\u4e00\u81f4\u4ea7\u751f\u8f83\u4f4e\u7684SR，\u4e3b\u8981\u662f\u7531\u4e8e\u5bf9\u65e0\u969c\u788d\u6807\u51c6\u7684\u9075\u5b88\u4e0d\u8db3\u548c\u4e0d\u5b8c\u6574\u7684UIA\u652f\u6301\u3002\u76f8\u53cd，OSWorld-W\u4efb\u52a1\u4e3b\u8981\u4f7f\u7528Microsoft 365 Office\u5e94\u7528\u7a0b\u5e8f，\u63d0\u4f9b\u66f4\u4e30\u5bcc\u7684OS\u539f\u751fAPI\u548c\u7ed3\u6784\u5316\u65e0\u969c\u788d\u6570\u636e，\u5bfc\u81f4\u66f4\u9ad8\u7684SR（UFO\u00b2-o1\u9ad8\u8fbe51.9%）\u3002\u8fd9\u79cd\u5dee\u5f02\u7a81\u51fa\u4e86\u7a33\u5065OS\u7ea7\u96c6\u6210\u548cAPI\u53ef\u7528\u6027\u5728\u5b9e\u73b0\u9ad8\u8d28\u91cf\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u7684\u5173\u952e\u4f5c\u7528\u3002<\/p>\n
\u8de8\u5e94\u7528\u7a0b\u5e8f\u4efb\u52a1，\u5c24\u5176\u662f\u5728OSWorld-W\u4e2d\u7a81\u51fa\u7684，\u63d0\u51fa\u4e86\u66f4\u5927\u7684\u6311\u6218\u3002\u6b64\u7c7b\u4efb\u52a1\u672c\u8d28\u4e0a\u9700\u8981\u590d\u6742\u7684\u4efb\u52a1\u5206\u89e3\u548c\u7a33\u5065\u7684\u4ee3\u7406\u95f4\u534f\u8c03，\u5c06CUA\u2014\u2014\u751a\u81f3\u4eba\u7c7b\u7528\u6237\u2014\u2014\u63a8\u5411\u6781\u9650\u3002\u5728\u8fd9\u91cc，UFO\u00b2\u7684\u591a\u4ee3\u7406\u67b6\u6784，\u7531\u96c6\u4e2d\u5f0fHostAgent\u548c\u4e13\u95e8AppAgent\u9886\u5bfc，\u5c55\u73b0\u51fa\u663e\u8457\u7684\u524d\u666f，\u4ee59.1%\u7684SR\u8d85\u8fc7\u5176\u4ed6\u57fa\u7ebf\u3002\u5c3d\u7ba1\u6027\u80fd\u4ecd\u7136\u76f8\u5bf9\u6e29\u548c，\u4f46\u5b83\u6e05\u695a\u5730\u8bf4\u660e\u4e86\u7cfb\u7edf\u5316\u591a\u4ee3\u7406\u534f\u4f5c\u548c\u96c6\u4e2d\u5f0f\u7f16\u6392\u5728\u89e3\u51b3\u8de8\u8d8a\u4f20\u7edf\u5e94\u7528\u7a0b\u5e8f\u8fb9\u754c\u7684\u590d\u6742\u573a\u666f\u4e2d\u7684\u529b\u91cf\u3002<\/p>\n
\u603b\u4f53\u800c\u8a00，\u8fd9\u4e9b\u8be6\u7ec6\u7ec6\u5206\u7ed3\u679c\u9a8c\u8bc1\u4e86UFO\u00b2\u7684\u7cfb\u7edf\u7ea7\u8bbe\u8ba1\u539f\u5219，\u7279\u522b\u662f\u5176\u5bf9\u6df1\u5ea6OS\u548c\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9a\u96c6\u6210\u3001\u591a\u4ee3\u7406\u534f\u8c03\u548c\u7075\u6d3b\u52a8\u4f5c\u7f16\u6392\u7684\u5f3a\u8c03\u3002\u867d\u7136\u5728\u5229\u57fa\u6216\u652f\u6301\u8f83\u5c11\u7684\u5e94\u7528\u9886\u57df（\u5982API\u53ef\u7528\u6027\u6709\u9650\u7684\u81ea\u5b9a\u4e49\u6216\u9057\u7559\u8f6f\u4ef6）\u4ecd\u6709\u663e\u8457\u6539\u8fdb\u6f5c\u529b，\u4f46UFO\u00b2\u7684\u5f53\u524d\u67b6\u6784\u5df2\u7ecf\u5728\u5b9e\u9645\u3001\u771f\u5b9e\u4e16\u754c\u684c\u9762\u81ea\u52a8\u5316\u4efb\u52a1\u4e2d\u63d0\u4f9b\u4e86\u5b9e\u8d28\u6027\u3001\u53ef\u6d4b\u91cf\u7684\u6539\u8fdb\u3002<\/p>\n
![\"\"](\"2026-10-094mri4htdgrt.png\")
<\/p>\n
\u56fe19. UFO\u00b2-base（GPT-4o）\u5728\u4e24\u4e2a\u57fa\u51c6\u4e0a\u7684\u9519\u8bef\u5206\u6790\u3002<\/p>\n
\u9519\u8bef\u5206\u6790\u3002 \u4e3a\u4e86\u7cfb\u7edf\u7406\u89e3UFO\u00b2\u7684\u5c40\u9650\u6027\u5e76\u8bc6\u522b\u8fdb\u4e00\u6b65\u6539\u8fdb\u7684\u673a\u4f1a，\u6211\u4eec\u5bf9UFO\u00b2-base（GPT-4o）\u5728\u4e24\u4e2a\u57fa\u51c6\u4e0a\u7684\u6240\u6709\u5931\u8d25\u6848\u4f8b\u8fdb\u884c\u4e86\u8be6\u7ec6\u4eba\u5de5\u5ba1\u67e5\u3002\u9075\u5faa\u7c7b\u4f3c\u4e8eAgashe\u7b49\u4eba[51]\u7684\u5206\u7c7b\u6846\u67b6，\u6bcf\u4e2a\u5931\u8d25\u88ab\u5206\u7c7b\u4e3a\u4e09\u4e2a\u4e0d\u540c\u7684\u7cfb\u7edf\u7ea7\u7c7b\u522b\u4e4b\u4e00：<\/p>\n
\n- \n
\u89c4\u5212\u9519\u8bef：\u7531\u4e0d\u5145\u5206\u7684\u9ad8\u5c42\u4efb\u52a1\u7406\u89e3\u5f15\u8d77\u7684\u5931\u8d25，\u901a\u5e38\u53cd\u6620\u4e3a\u4e0d\u5b8c\u6574\u6216\u4e0d\u6b63\u786e\u7684\u52a8\u4f5c\u8ba1\u5212\u3002\u8fd9\u4e9b\u9519\u8bef\u8868\u660e\u4ee3\u7406\u7684\u4efb\u52a1\u7406\u89e3\u5b58\u5728\u5dee\u8ddd\u6216\u5bf9\u5e94\u7528\u7279\u5b9a\u5de5\u4f5c\u6d41\u7684\u57fa\u7840\u4e0d\u8db3\u3002<\/p>\n<\/li>\n
- \n
\u6267\u884c\u9519\u8bef：\u9ad8\u5c42\u8ba1\u5212\u5408\u7406\u4f46\u6267\u884c\u6709\u7f3a\u9677\u7684\u60c5\u51b5（\u5982\u9009\u62e9\u9519\u8bef\u7684\u63a7\u4ef6\u3001\u6267\u884c\u610f\u5916\u52a8\u4f5c）\u3002\u6267\u884c\u9519\u8bef\u901a\u5e38\u6e90\u4e8e\u4e0d\u51c6\u786e\u7684\u89c6\u89c9\u63a8\u7406\u3001GUI\u5143\u7d20\u4e0e\u52a8\u4f5c\u4e4b\u95f4\u7684\u9519\u8bef\u5173\u8054\u6216LLM\u7684\u9519\u8bef\u63a8\u7406\u3002<\/p>\n<\/li>\n
- \n
\u63a7\u5236\u68c0\u6d4b\u5931\u8d25：\u4ee3\u7406\u672a\u80fd\u68c0\u6d4b\u6216\u8bc6\u522b\u5b8c\u6210\u4efb\u52a1\u6240\u9700\u5173\u952eGUI\u63a7\u4ef6\u7684\u60c5\u51b5，\u901a\u5e38\u7531\u4e8e\u975e\u6807\u51c6\u6216\u81ea\u5b9a\u4e49\u6e32\u67d3\u7684UI\u5143\u7d20\u65e0\u6cd5\u901a\u8fc7\u6807\u51c6OS API\u5b8c\u5168\u8bbf\u95ee\u3002<\/p>\n<\/li>\n<\/ul>\n
\u56fe19\u603b\u7ed3\u4e86\u6211\u4eec\u5bf9UFO\u00b2-base\u7684\u53d1\u73b0\u3002\u5728WAA\u57fa\u51c6\u4e0a，\u8d85\u8fc762%\u7684\u5931\u8d25\u5f52\u56e0\u4e8e\u63a7\u5236\u68c0\u6d4b\u5931\u8d25，\u7a81\u51fa\u4e86\u6807\u51c6UIA API\u8986\u76d6\u7684\u91cd\u5927\u5dee\u8ddd\u2014\u2014\u7279\u522b\u662f\u5bf9\u4e8e\u4e0d\u4e25\u683c\u9075\u5b88\u65e0\u969c\u788d\u6807\u51c6\u7684\u7b2c\u4e09\u65b9\u5e94\u7528\u7a0b\u5e8f（\u5982LibreOffice）\u3002\u76f8\u53cd，OSWorld-W\u57fa\u51c6\u8868\u73b0\u51fa\u66f4\u9ad8\u7684\u89c4\u5212\u9519\u8bef\u53d1\u751f\u7387，\u5f3a\u8c03\u8be5\u96c6\u5408\u4e2d\u7684\u4efb\u52a1\u901a\u5e38\u6d89\u53ca\u66f4\u590d\u6742\u7684\u5de5\u4f5c\u6d41，\u9700\u8981\u8d85\u8d8a\u7b80\u5355\u89c6\u89c9\u8bc6\u522b\u7684\u66f4\u6df1\u9886\u57df\u77e5\u8bc6\u6216\u9ad8\u7ea7\u4e0a\u4e0b\u6587\u63a8\u7406\u80fd\u529b\u3002<\/p>\n
\u8fd9\u4e9b\u89c2\u5bdf\u63d0\u4f9b\u4e86\u5177\u4f53\u8bc1\u636e，\u8bc1\u660e\u7279\u5b9a\u7cfb\u7edf\u7ea7\u7f3a\u9677\u76f4\u63a5\u63a8\u52a8\u4e86UFO\u00b2\u5b8c\u6574\u7248\u672c\u4e2d\u7eb3\u5165\u7684\u589e\u5f3a\u3002\u63a7\u5236\u68c0\u6d4b\u5931\u8d25\u7684\u9ad8\u9891\u7387\u9a8c\u8bc1\u4e86\u6211\u4eec\u9009\u62e9\u91c7\u7528\u6df7\u5408GUI\u68c0\u6d4b\u6d41\u6c34\u7ebf，\u7528\u9ad8\u7ea7\u89c6\u89c9\u5b9a\u4f4d\u6280\u672f\u8865\u5145\u6807\u51c6UIA\u6570\u636e\u3002\u7c7b\u4f3c\u5730，\u89c4\u5212\u9519\u8bef\u7684\u666e\u904d\u6027\u5f3a\u8c03\u4e86\u6574\u5408\u66f4\u4e30\u5bcc\u5916\u90e8\u6587\u6863\u3001\u9886\u57df\u7279\u5b9a\u77e5\u8bc6\u5e93\u548c\u5e94\u7528\u7a0b\u5e8f\u7ea7API\u4ee5\u52a0\u5f3a\u4efb\u52a1\u7406\u89e3\u548c\u52a8\u4f5c\u63a8\u7406\u7684\u5173\u952e\u4f5c\u7528\u3002\u5728\u540e\u7eed\u7ae0\u8282\u4e2d，\u6211\u4eec\u660e\u786e\u5c55\u793a\u4e86\u8fd9\u4e9b\u589e\u91cf\u7cfb\u7edf\u7ea7\u6539\u8fdb\u5982\u4f55\u9010\u6b65\u7f13\u89e3\u6bcf\u4e2a\u5df2\u8bc6\u522b\u7684\u9519\u8bef\u7c7b\u522b，\u4ece\u800c\u5927\u5e45\u63d0\u5347UFO\u00b2\u7684\u6574\u4f53\u4efb\u52a1\u5b8c\u6210\u6709\u6548\u6027\u3002<\/p>\n
\u88682. WAA\u548cOSWorld-W\u4e0a\u6309\u5e94\u7528\u7a0b\u5e8f\u7c7b\u578b\u7684SR\u7ec6\u5206\u3002<\/p>\n
\n\u4ee3\u7406\u6a21\u578bWAA OfficeWeb BrowserWindows SystemCodingMedia & VideoWindows UtilsOSWorld-W OfficeCross-App<\/tr>\n \n\nUFO<\/td>\n GPT-4o<\/td>\n 0.0%<\/td>\n 23.3%<\/td>\n 33.3%<\/td>\n 29.2%<\/td>\n 33.3%<\/td>\n 8.3%<\/td>\n 18.5%<\/td>\n 4.5%<\/td>\n<\/tr>\n \nNAVI<\/td>\n GPT-4o<\/td>\n 0.0%<\/td>\n 20.0%<\/td>\n 29.2%<\/td>\n 9.1%<\/td>\n 25.3%<\/td>\n 0.0%<\/td>\n 18.5%<\/td>\n 0.0%<\/td>\n<\/tr>\n \nOmniAgent<\/td>\n GPT-4o<\/td>\n 0.0%<\/td>\n 27.3%<\/td>\n 33.3%<\/td>\n 27.3%<\/td>\n 30.3%<\/td>\n 8.3%<\/td>\n 14.8%<\/td>\n 0.0%<\/td>\n<\/tr>\n \nAgent S<\/td>\n GPT-4o<\/td>\n 0.0%<\/td>\n 13.3%<\/td>\n 45.8%<\/td>\n 29.2%<\/td>\n 19.1%<\/td>\n 22.2%<\/td>\n 22.2%<\/td>\n 0.0%<\/td>\n<\/tr>\n \nOperator<\/td>\n computer-use<\/td>\n 7%<\/td>\n 26.7%<\/td>\n 29.2%<\/td>\n 29.2%<\/td>\n 28.6%<\/td>\n 8.3%<\/td>\n 22.2%<\/td>\n 4.5%<\/td>\n<\/tr>\n \nUFO\u00b2-base<\/td>\n GPT-4o<\/td>\n 2.3%<\/td>\n 36.7%<\/td>\n 29.2%<\/td>\n 41.7%<\/td>\n 33.3%<\/td>\n 0.0%<\/td>\n 22.2%<\/td>\n 9.1%<\/td>\n<\/tr>\n \nUFO\u00b2-base<\/td>\n o1<\/td>\n 2.3%<\/td>\n 30.0%<\/td>\n 37.5%<\/td>\n 50.0%<\/td>\n 33.3%<\/td>\n 8.3%<\/td>\n 22.2%<\/td>\n 9.1%<\/td>\n<\/tr>\n \nUFO\u00b2<\/td>\n GPT-4o<\/td>\n 4.7%<\/td>\n 30.0%<\/td>\n 41.7%<\/td>\n 58.3%<\/td>\n 33.3%<\/td>\n 8.3%<\/td>\n 44.4%<\/td>\n 9.1%<\/td>\n<\/tr>\n \nUFO\u00b2<\/td>\n o1<\/td>\n 4.7%<\/td>\n 40.0%<\/td>\n 45.8%<\/td>\n 50.0%<\/td>\n 38.1%<\/td>\n 16.7%<\/td>\n 51.9%<\/td>\n 9.1%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n6.3 \u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u8bc4\u4f30<\/h4>\n
\u5982\u56fe19\u6240\u793a，\u76f8\u5f53\u5927\u6bd4\u4f8b\u7684\u5931\u8d25\u6e90\u4e8e\u63a7\u5236\u68c0\u6d4b\u5931\u8d25，\u5176\u4e2d\u975e\u6807\u51c6UI\u5143\u7d20\u4e0d\u7b26\u5408UIA\u6307\u5357\u3002\u4e3a\u4e86\u91cf\u5316\u4e0d\u540c\u68c0\u6d4b\u7b56\u7565\u7684\u6709\u6548\u6027，\u6211\u4eec\u6bd4\u8f83\u4e86\u4ec5UIA\u3001\u4ec5OmniParser-v2\u548c\u6211\u4eec\u7684\u6df7\u5408\u65b9\u6cd5（\u7b2c3.4\u8282）\u3002\u6211\u4eec\u5f15\u5165\u63a7\u5236\u6062\u590d\u7387（CRR）\u6765\u8861\u91cf\u5728OmniParser\u6216\u6df7\u5408\u65b9\u6cd5\u4e0b\u6709\u591a\u5c11\u4ec5UIA\u5931\u8d25\u88ab\u201c\u6062\u590d\u201d（\u5373\u53d8\u4e3a\u6210\u529f\u5b8c\u6210）\u3002<\/p>\n
\u88683\u5448\u73b0\u4e86\u4e24\u4e2a\u57fa\u51c6\u4e0a\u591a\u4e2a\u6a21\u578b\u914d\u7f6e\u7684\u7ed3\u679c\u3002\u6df7\u5408\u65b9\u6cd5\u59cb\u7ec8\u4f18\u4e8e\u4ec5UIA\u6216\u4ec5OmniParser\u8bbe\u7f6e，\u63d0\u9ad8\u4e86\u6574\u4f53\u6210\u529f\u7387，\u5e76\u5c06\u9ad8\u8fbe9.86%\u7684\u5148\u524d\u4e0d\u53ef\u6062\u590d\u6848\u4f8b\u8f6c\u5316\u4e3a\u5b8c\u6210\u3002\u8fd9\u4e00\u589e\u76ca\u7a81\u51fa\u4e86\u4e24\u4e2a\u68c0\u6d4b\u6d41\u6c34\u7ebf\u7684\u4e92\u8865\u4f18\u52bf，\u56e0\u4e3a\u6df7\u5408\u65b9\u6cd5\u5f25\u5408\u4e86UIA\u7684\u8986\u76d6\u5dee\u8ddd，\u540c\u65f6\u907f\u514d\u4e86OmniParser\u5728\u66f4\u6807\u51c6\u5316GUI\u4e2d\u7684\u5c40\u9650\u6027\u3002<\/p>\n
\u5728\u56fe20\u4e2d，\u6211\u4eec\u62a5\u544a\u4e86\u6df7\u5408\u65b9\u6cd5\u4e0b\u4ece\u6bcf\u4e2a\u6765\u6e90（UIA\u3001OmniParser-v2\u548c\u5408\u5e76\u96c6）\u68c0\u6d4b\u5230\u7684\u5e73\u5747\u63a7\u4ef6\u6570\u91cf\u3002\u7531\u4e8e\u5e94\u7528\u7a0b\u5e8f\u8986\u76d6\u7684\u5dee\u5f02，\u68c0\u6d4b\u5230\u7684\u63a7\u4ef6\u603b\u6570\u5728OSWorld-W\u4e2d\u901a\u5e38\u9ad8\u4e8eWAA\u3002\u503c\u5f97\u6ce8\u610f\u7684\u662f，UIA\u548cOmniParser-v2\u90fd\u8bc6\u522b\u51fa\u5927\u91cf\u63a7\u4ef6\u5b50\u96c6，\u5408\u5e76\u540e，27.9%\u548c56.7%\u7684OmniParser-v2\u68c0\u6d4b\u56e0\u4e0eUIA\u91cd\u53e0\u800c\u88ab\u4e22\u5f03\u3002\u8fd9\u4e9b\u89c2\u5bdf\u8868\u660e，OmniParser-v2\u901a\u8fc7\u6062\u590d\u975e\u6807\u51c6\u6216\u81ea\u5b9a\u4e49\u5143\u7d20\u4e3aUIA\u63d0\u4f9b\u4e86\u6709\u4ef7\u503c\u7684\u8865\u5145\u3002\u540c\u65f6，\u5408\u5e76\u6b65\u9aa4\u6d88\u9664\u4e86\u5197\u4f59\u5e76\u9632\u6b62\u91cd\u590d\u8ba1\u6570，\u6700\u7ec8\u51cf\u5c11\u4e86\u6df7\u5408\u65b9\u6848\u4e2d\u7684\u63a7\u5236\u68c0\u6d4b\u5931\u8d25\u3002<\/p>\n
\u88683. \u4e0d\u540c\u63a7\u5236\u68c0\u6d4b\u673a\u5236\u4e0bSR\u548cCRR\u7684\u6bd4\u8f83\u3002<\/p>\n
\n\u63a7\u5236\u68c0\u6d4b\u5668\u6a21\u578bWAA SRWAA CRROSWorld-W SROSWorld-W CRR<\/tr>\n \n\nUIA<\/td>\n GPT-4o<\/td>\n 23.4%<\/td>\n –<\/td>\n 22.4%<\/td>\n –<\/td>\n<\/tr>\n \nOmniParser-v2<\/td>\n GPT-4o<\/td>\n 26.6%<\/td>\n 7.0%<\/td>\n 14.3%<\/td>\n 0%<\/td>\n<\/tr>\n \nHybrid<\/td>\n GPT-4o<\/td>\n 26.6%<\/td>\n 9.9%<\/td>\n 22.4%<\/td>\n 12.5%<\/td>\n<\/tr>\n \nUIA<\/td>\n o1<\/td>\n 25.3%<\/td>\n –<\/td>\n 24.5%<\/td>\n –<\/td>\n<\/tr>\n \nOmniParser-v2<\/td>\n o1<\/td>\n 20.8%<\/td>\n 7.0%<\/td>\n 14.3%<\/td>\n 0%<\/td>\n<\/tr>\n \nHybrid<\/td>\n o1<\/td>\n 27.9%<\/td>\n 9.9%<\/td>\n 28.6%<\/td>\n 25.0%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n![\"\"](\"2026-10-09znj4cgt3otg.png\")
<\/p>\n
\u56fe20. \u4e0d\u540c\u65b9\u6cd5\u68c0\u6d4b\u5230\u7684\u63a7\u4ef6\u6570\u91cf\u3002<\/p>\n
6.4 GUI + API\u96c6\u6210\u6709\u6548\u6027<\/h4>\n
\u6211\u4eec\u73b0\u5728\u8bc4\u4f30\u5728Puppeteer\u4e2d\u7edf\u4e00\u57fa\u4e8eAPI\u7684\u52a8\u4f5c\u4e0e\u6807\u51c6GUI\u4ea4\u4e92\u5982\u4f55\u5f71\u54cd\u6027\u80fd（\u7b2c3.5\u8282）\u3002\u4e3a\u6b64，\u6211\u4eec\u805a\u7126\u4e8eOSWorld\u4e2d27\u4e2a\u529e\u516c\u76f8\u5173\u4efb\u52a1，\u5e76\u624b\u52a8\u4e3aWord\u3001Excel\u548cPowerPoint\u5f00\u53d1\u4e8612\u4e2aAPI\u3002\u8fd9\u4e9b\u5e94\u7528\u7a0b\u5e8f\u63d0\u4f9bCOM\u63a5\u53e3，\u4fbf\u4e8e\u521b\u5efa\u81ea\u5b9a\u4e49\u51fd\u6570，\u4f7f\u5176\u6210\u4e3a\u66f4\u6df1OS\u548c\u5e94\u7528\u7a0b\u5e8f\u7ea7\u96c6\u6210\u7684\u7406\u60f3\u8303\u4f8b\u3002\u91cd\u8981\u7684\u662f，\u8bb8\u591a\u8fd9\u4e9b\u64cd\u4f5c\u9700\u8981\u7e41\u7410\u7684\u591a\u6b65\u9aa4GUI\u7a0b\u5e8f，\u4f46\u901a\u8fc7\u8fd9\u4e9bAPI\u53d8\u6210\u7b80\u5355\u7684\u5355\u6b21\u8c03\u7528（\u5982\u9009\u62e9\u6bb5\u843d）\u3002\u88684\u8be6\u7ec6\u5217\u51fa\u4e86\u5b9e\u73b0\u7684API\u3002<\/p>\n
\u88684. Office\u5e94\u7528\u7a0b\u5e8f\u652f\u6301\u7684API\u3002<\/p>\n
\nAPI\u5e94\u7528\u7a0b\u5e8f\u63cf\u8ff0<\/tr>\n \n\nselect_text<\/td>\n Word<\/td>\n \u9009\u62e9\u6587\u6863\u4e2d\u5339\u914d\u7684\u6587\u672c<\/td>\n<\/tr>\n \nselect_paragraph<\/td>\n Word<\/td>\n \u9009\u62e9\u6587\u6863\u4e2d\u7684\u6bb5\u843d<\/td>\n<\/tr>\n \nset_font<\/td>\n Word<\/td>\n \u8bbe\u7f6e\u6240\u9009\u6587\u672c\u7684\u5b57\u4f53\u5927\u5c0f\u548c\u6837\u5f0f<\/td>\n<\/tr>\n \nsave_as<\/td>\n Word<\/td>\n \u5c06\u5f53\u524d\u6587\u6863\u4fdd\u5b58\u4e3a\u6240\u9700\u683c\u5f0f<\/td>\n<\/tr>\n \ninsert_excel_table<\/td>\n Excel<\/td>\n \u5728\u6240\u9700\u4f4d\u7f6e\u63d2\u5165\u8868\u683c<\/td>\n<\/tr>\n \nselect_table_range<\/td>\n Excel<\/td>\n \u9009\u62e9\u8868\u683c\u5185\u7684\u8303\u56f4<\/td>\n<\/tr>\n \nreorder_column<\/td>\n Excel<\/td>\n \u91cd\u65b0\u6392\u5217\u8868\u683c\u5217<\/td>\n<\/tr>\n \nsave_as<\/td>\n Excel<\/td>\n \u5c06\u5f53\u524d\u5de5\u4f5c\u8868\u4fdd\u5b58\u4e3a\u6240\u9700\u683c\u5f0f<\/td>\n<\/tr>\n \nset_background_color<\/td>\n PowerPoint<\/td>\n \u8bbe\u7f6e\u5e7b\u706f\u7247\u7684\u80cc\u666f\u989c\u8272<\/td>\n<\/tr>\n \nsave_as<\/td>\n PowerPoint<\/td>\n \u5c06\u5f53\u524d\u6f14\u793a\u6587\u7a3f\u4fdd\u5b58\u4e3a\u6240\u9700\u683c\u5f0f<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u88685\u6bd4\u8f83\u4e86\u4e24\u79cd\u914d\u7f6e\u7684（i）\u6574\u4f53\u6210\u529f\u7387（SR）\u3001（ii）\u89c4\u5212\u9519\u8bef\u6062\u590d\u7387（PRR）\u3001（iii）\u6267\u884c\u9519\u8bef\u6062\u590d\u7387（ERR）\u3001（iv）\u63a7\u5236\u68c0\u6d4b\u5931\u8d25\u6062\u590d\u7387（CRR）\u548c（v）\u5e73\u5747\u5b8c\u6210\u6b65\u9aa4（ACS）：\u4ec5GUI\u4e0eGUI + API\u3002\u6211\u4eec\u5728\u4e24\u79cd\u914d\u7f6e\u90fd\u6210\u529f\u5b8c\u6210\u7684\u5b50\u96c6\u4e0a\u8ba1\u7b97ACS，\u786e\u4fdd\u516c\u5e73\u6bd4\u8f83\u3002<\/p>\n
\u7ed3\u679c\u8868\u660e，\u96c6\u6210API\u52a8\u4f5c\u63d0\u5347\u4e86\u4e24\u8005\u7684SR（GPT-4o +6.1%，o1 +8.2%），\u5f3a\u8c03\u4e86\u6df7\u5408GUI\u548cAPI\u4ea4\u4e92\u7684\u6709\u6548\u6027\u3002\u503c\u5f97\u6ce8\u610f\u7684\u662f，GPT-4o\u4eceAPI\u4e2d\u83b7\u76ca\u6700\u591a\u7684\u662f\u4ece\u63a7\u5236\u68c0\u6d4b\u5931\u8d25\u4e2d\u6062\u590d，\u901a\u8fc7\u7ed5\u8fc7\u672a\u6807\u6ce8\u7684GUI\u5143\u7d20\u3002\u76f8\u53cd，o1\u66f4\u9891\u7e41\u5730\u901a\u8fc7API\u201c\u6377\u5f84\u201d\u89e3\u51b3\u89c4\u5212\u9519\u8bef，\u53cd\u6620\u4e86\u8be5\u6a21\u578b\u66f4\u5f3a\u7684\u63a8\u7406\u80fd\u529b\u548c\u5bf9\u7b80\u6d01\u89e3\u51b3\u65b9\u6848\u7684\u504f\u597d\u3002<\/p>\n
\u88685. \u4ec5GUI\u4e0eGUI + API\u52a8\u4f5c\u7684\u6027\u80fd\u6bd4\u8f83\u3002<\/p>\n
\n\u52a8\u4f5c\u6a21\u578bSRPRRERRCRRACS<\/tr>\n \n\nGUI-only<\/td>\n GPT-4o<\/td>\n 16.3%<\/td>\n –<\/td>\n –<\/td>\n –<\/td>\n 13.8<\/td>\n<\/tr>\n \nGUI+API<\/td>\n GPT-4o<\/td>\n 22.4%<\/td>\n 5.9%<\/td>\n 14.3%<\/td>\n 25.0%<\/td>\n 12.9<\/td>\n<\/tr>\n \nGUI-only<\/td>\n o1<\/td>\n 16.3%<\/td>\n –<\/td>\n –<\/td>\n –<\/td>\n 16.0<\/td>\n<\/tr>\n \nGUI+API<\/td>\n o1<\/td>\n 24.5%<\/td>\n 17.7%<\/td>\n 0.0%<\/td>\n 12.5%<\/td>\n 6.6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u9664\u4e86\u66f4\u9ad8\u7684\u6210\u529f\u7387，GUI + API\u8fd8\u51cf\u5c11\u4e86\u5b8c\u6210\u4efb\u52a1\u6240\u9700\u7684\u52aa\u529b\u3002UFO\u00b2\u5728\u76f8\u540c\u4efb\u52a1\u4e0a\u4f7f\u7528GPT-4o\u5b9e\u73b0\u4e866.5%\u7684\u6b65\u9aa4\u8282\u7701，o1\u5219\u5b9e\u73b0\u4e86\u4ee4\u4eba\u5370\u8c61\u6df1\u523b\u768458.5%\u51cf\u5c11\u3002\u540e\u8005\u7684\u6539\u8fdb\u6e90\u4e8eo1\u6218\u7565\u6027\u8c03\u7528API\u51fd\u6570\u7684\u80fd\u529b，\u7ed5\u8fc7\u4e86\u591a\u4e2a\u57fa\u4e8eGUI\u7684\u6b65\u9aa4\u3002\u603b\u4f53\u800c\u8a00，\u8fd9\u4e9b\u53d1\u73b0\u8bc1\u5b9e\u4e86\u6df7\u5408GUI\u81ea\u52a8\u5316\u548cAPI\u8c03\u7528\u7684\u4f18\u52bf，\u65e0\u8bba\u662f\u5728\u7a33\u5065\u6027\u8fd8\u662f\u6548\u7387\u65b9\u9762，\u5e76\u5c55\u793a\u4e86\u6df1\u5ea6\u7cfb\u7edf\u96c6\u6210\u5bf9\u684c\u9762\u81ea\u52a8\u5316\u7684\u91cd\u8981\u6027\u3002<\/p>\n
\u6848\u4f8b\u7814\u7a76\u3002 \u4e3a\u4e86\u8bf4\u660eGUI + API\u65b9\u6cd5\u5982\u4f55\u7b80\u5316\u4efb\u52a1\u6267\u884c，\u56fe21\u5c55\u793a\u4e86\u5728OSWorld-W\u6848\u4f8b\u4e2d\u5c06Excel\u6587\u4ef6\u5bfc\u51fa\u4e3aCSV\u683c\u5f0f\u7684\u5b8c\u6210\u8f68\u8ff9，\u4f7f\u7528\u4ec5GUI\u6216GUI + API\u4ea4\u4e92\u3002\u867d\u7136\u4e24\u79cd\u914d\u7f6e\u6700\u7ec8\u90fd\u6210\u529f，\u4f46\u4ec5GUI\u8bbe\u7f6e\u9700\u8981\u4e94\u4e2a\u6b65\u9aa4\u6765\u6253\u5f00\u4fdd\u5b58\u5bf9\u8bdd\u6846\u3001\u9009\u62e9\u6587\u4ef6\u683c\u5f0f\u5e76\u786e\u8ba4\u64cd\u4f5c\u3002\u76f8\u53cd，\u5bf9save_as API\u7684\u5355\u6b21\u8c03\u7528\u7acb\u5373\u5b8c\u6210\u4efb\u52a1\u3002\u9664\u4e86\u63d0\u9ad8\u6548\u7387，\u8fd9\u79cd\u5355\u6b65\u89e3\u51b3\u65b9\u6848\u8fd8\u51cf\u5c11\u4e86\u591a\u4e2aGUI\u4ea4\u4e92\u4e2d\u590d\u5408\u9519\u8bef\u7684\u98ce\u9669\u2014\u2014\u6e05\u695a\u5730\u5c55\u793a\u4e86\u66f4\u6df1OS\u548c\u5e94\u7528\u7a0b\u5e8f\u7ea7\u96c6\u6210\u7684\u4f18\u52bf\u3002<\/p>\n
![\"\"](\"2026-10-09b1eroet3plx.png\")
<\/p>\n
6.5 \u6301\u7eed\u77e5\u8bc6\u96c6\u6210\u8bc4\u4f30<\/h4>\n
\u63a5\u4e0b\u6765\u6211\u4eec\u8bc4\u4f30\u6301\u7eed\u77e5\u8bc6\u96c6\u6210（\u7b2c3.6\u8282）\u5bf9UFO\u00b2\u6027\u80fd\u7684\u5f71\u54cd\u3002\u5177\u4f53\u800c\u8a00，\u6211\u4eec\u7528\u5916\u90e8\u6587\u6863\u548c\u6267\u884c\u884d\u751f\u89c1\u89e3\u589e\u5f3aUFO\u00b2，\u4ee5\u52a8\u6001\u6539\u8fdb\u5176\u9886\u57df\u7406\u89e3\u800c\u65e0\u9700\u91cd\u65b0\u8bad\u7ec3\u3002\u6211\u4eec\u521b\u5efa\u4e8634\u4e2a\u9488\u5bf9\u57fa\u51c6\u4efb\u52a1\u5b9a\u5236\u7684\u5e2e\u52a9\u6587\u6863，\u6bcf\u4e2a\u5305\u542b\u7cbe\u786e\u7684\u5206\u6b65\u8bf4\u660e，\u4f7fUFO\u00b2\u80fd\u591f\u5728\u8fd0\u884c\u65f6\u68c0\u7d22\u6700\u76f8\u5173\u7684\u6307\u5bfc（\u6bcf\u4e2a\u4efb\u52a1\u6700\u591a\u4e00\u4e2a）\u3002\u6b64\u5916，\u6211\u4eec\u5b9e\u73b0\u4e86\u4e00\u4e2a\u81ea\u52a8\u5316\u6d41\u6c34\u7ebf，\u603b\u7ed3\u6210\u529f\u7684\u6267\u884c\u8f68\u8ff9\u2014\u2014\u7531\u6211\u4eec\u7684\u4efb\u52a1\u8bc4\u4f30\u5668\u9a8c\u8bc1\u2014\u2014\u5e76\u5f52\u6863\u5230\u53ef\u68c0\u7d22\u7684\u77e5\u8bc6\u6570\u636e\u5e93\u4e2d\u3002\u5bf9\u4e8e\u540e\u7eed\u4efb\u52a1，UFO\u00b2\u52a8\u6001\u68c0\u7d22\u6700\u591a\u4e09\u4e2a\u76f8\u5173\u8fc7\u53bb\u6267\u884c\u65e5\u5fd7\u4ee5\u6307\u5bfc\u4efb\u52a1\u89c4\u5212\u548c\u6267\u884c\u3002\u9274\u4e8e\u77e5\u8bc6\u96c6\u6210\u4e3b\u8981\u89e3\u51b3\u7531\u89c4\u5212\u4e0d\u8db3\u5f15\u8d77\u7684\u5931\u8d25（\u89c4\u5212\u9519\u8bef），\u6211\u4eec\u91c7\u7528\u89c4\u5212\u6062\u590d\u7387（PRR）\u6765\u8861\u91cf\u901a\u8fc7\u96c6\u6210\u65b0\u77e5\u8bc6\u6210\u529f\u89e3\u51b3\u7684\u5148\u524d\u5931\u8d25\u89c4\u5212\u6848\u4f8b\u7684\u6bd4\u4f8b\u3002<\/p>\n
\u88686. \u6709\u548c\u6ca1\u6709\u77e5\u8bc6\u96c6\u6210\u7684\u6027\u80fd\u6bd4\u8f83\u3002<\/p>\n
\n\u77e5\u8bc6\u589e\u5f3a\u6a21\u578bWAA SRWAA PRROSWorld-W SROSWorld-W PRR<\/tr>\n \n\nNone<\/td>\n GPT-4o<\/td>\n 23.4%<\/td>\n –<\/td>\n 22.4%<\/td>\n –<\/td>\n<\/tr>\n \nHelp Document<\/td>\n GPT-4o<\/td>\n 26.6%<\/td>\n 10.34%<\/td>\n 26.5%<\/td>\n 11.8%<\/td>\n<\/tr>\n \nSelf-Experience<\/td>\n GPT-4o<\/td>\n 26.6%<\/td>\n 13.79%<\/td>\n 24.5%<\/td>\n 11.8%<\/td>\n<\/tr>\n \nNone<\/td>\n o1<\/td>\n 25.3%<\/td>\n –<\/td>\n 24.5%<\/td>\n –<\/td>\n<\/tr>\n \nHelp Document<\/td>\n o1<\/td>\n 27.9%<\/td>\n 3.5%<\/td>\n 28.5%<\/td>\n 17.7%<\/td>\n<\/tr>\n \nSelf-Experience<\/td>\n o1<\/td>\n 20.8%<\/td>\n 13.79%<\/td>\n 26.5%<\/td>\n 17.7%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u88686\u6bd4\u8f83\u4e86\u4e24\u4e2a\u57fa\u51c6\u4e0a\u7684\u6574\u4f53SR\u548cPRR，\u7a81\u51fa\u4e86\u5f52\u56e0\u4e8e\u77e5\u8bc6\u96c6\u6210\u7684\u663e\u8457\u6027\u80fd\u6539\u8fdb\u3002\u5b9e\u65f6\u5e2e\u52a9\u6587\u6863\u68c0\u7d22\u548c\u81ea\u6211\u7ecf\u9a8c\u603b\u7ed3\u90fd\u4ea7\u751f\u4e86\u660e\u663e\u7684\u589e\u76ca，\u5c06\u89c4\u5212\u5931\u8d25\u51cf\u5c11\u9ad8\u8fbe17.7%\u3002\u503c\u5f97\u6ce8\u610f\u7684\u662f，\u4f7f\u7528\u66f4\u5f3a\u6a21\u578b（o1）\u7684\u81ea\u6211\u7ecf\u9a8c\u589e\u5f3a\u5728\u4e24\u4e2a\u57fa\u51c6\u4e0a\u5b9e\u73b0\u4e86\u6301\u7eed\u6539\u8fdb，\u5f3a\u8c03\u4e86\u5229\u7528\u5148\u524d\u6210\u529f\u8fdb\u884c\u81ea\u9002\u5e94\u6539\u8fdb\u7684\u6709\u6548\u6027\u3002\u867d\u7136\u5e2e\u52a9\u6587\u6863\u5076\u5c14\u4ea7\u751f\u9002\u5ea6\u589e\u76ca，\u4f46\u5176\u6709\u6548\u6027\u53d6\u51b3\u4e8e\u4efb\u52a1\u590d\u6742\u6027\u548c\u6587\u6863\u7279\u5f02\u6027\u3002<\/p>\n
\u8fd9\u4e9b\u53d1\u73b0\u5f3a\u8c03\u4e86\u7cfb\u7edf\u5316\u77e5\u8bc6\u96c6\u6210\u7684\u4ef7\u503c，\u8bc1\u660e\u4ee3\u7406\u77e5\u8bc6\u5e93\u7684\u6301\u7eed\u589e\u5f3a\u53ef\u4ee5\u663e\u8457\u63d0\u9ad8\u5176\u5728\u771f\u5b9e\u4e16\u754c\u90e8\u7f72\u4e2d\u7684\u7a33\u5065\u6027\u3001\u53ef\u6269\u5c55\u6027\u548c\u9002\u5e94\u6027\u3002\u6b64\u5916，\u968f\u7740UFO\u00b2\u968f\u65f6\u95f4\u7ee7\u7eed\u79ef\u7d2f\u6267\u884c\u7ecf\u9a8c\u548c\u6587\u6863，\u5b83\u672c\u8d28\u4e0a\u671d\u7740\u66f4\u9ad8\u53ef\u9760\u6027\u548c\u6539\u8fdb\u7684\u81ea\u4e3b\u6027\u6f14\u8fdb，\u4e3a\u684c\u9762\u81ea\u52a8\u5316\u7684\u6301\u7eed\u589e\u5f3a\u6307\u660e\u4e86\u6e05\u6670\u8def\u5f84\u3002<\/p>\n
6.6 \u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u6709\u6548\u6027<\/h4>\n
\u63a5\u4e0b\u6765\u6211\u4eec\u8bc4\u4f30\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c（\u7b2c3.7\u8282）\u5982\u4f55\u5f71\u54cd\u4efb\u52a1\u5b8c\u6210\u7387\u548c\u6548\u7387\u3002\u88687\u6bd4\u8f83\u4e86UFO\u00b2\u7684\u4e24\u79cd\u6a21\u5f0f：\u6bcf\u6b21\u63a8\u7406\u751f\u6210\u548c\u6267\u884c\u4e00\u4e2a\u52a8\u4f5c（\u5355\u52a8\u4f5c）\u4e0e\u5728\u4e00\u6b65\u4e2d\u63a8\u65ad\u591a\u4e2a\u8fde\u7eed\u52a8\u4f5c（\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c）\u3002\u4e3a\u786e\u4fdd\u516c\u5e73\u6bd4\u8f83，\u6211\u4eec\u4ec5\u5728\u4e24\u79cd\u6a21\u5f0f\u90fd\u6210\u529f\u5b8c\u6210\u7684\u5b50\u96c6\u4e0a\u8ba1\u7b97\u5e73\u5747\u5b8c\u6210\u6b65\u9aa4（ACS）\u3002<\/p>\n
\u7ed3\u679c\u8868\u660e，\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u4fdd\u6301\u4e0e\u5355\u52a8\u4f5c\u6a21\u5f0f\u76f8\u5f53\u7684\u6210\u529f\u7387（SR），\u540c\u65f6\u663e\u8457\u51cf\u5c11\u5e73\u5747\u6b65\u9aa4\u2014\u2014\u5728WAA\u4e0a\u9ad8\u8fbe10%，\u5728OSWorld-W\u4e0a\u4ee4\u4eba\u5370\u8c61\u6df1\u523b\u5730\u51cf\u5c1151.5%\u3002\u7531\u4e8e\u6bcf\u4e2a\u6b65\u9aa4\u9700\u8981LLM\u8c03\u7528，\u51cf\u5c11\u6b65\u9aa4\u6570\u91cf\u663e\u8457\u964d\u4f4e\u4e86\u5ef6\u8fdf\u548c\u6210\u672c\u3002\u8fd9\u4e00\u53d1\u73b0\u8bc1\u5b9e\u4e86\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u89c4\u5212\u5728\u4e0d\u5f71\u54cd\u53ef\u9760\u6027\u7684\u60c5\u51b5\u4e0b\u63d0\u9ad8\u4e86\u6548\u7387，\u8fdb\u4e00\u6b65\u7a81\u663e\u4e86UFO\u00b2\u5728\u5b9e\u9645\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u4f18\u5316\u8d44\u6e90\u5229\u7528\u7684\u80fd\u529b\u3002<\/p>\n
\u88687. \u5355\u52a8\u4f5c\u4e0e\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6a21\u5f0f\u7684SR\u548cACS\u6bd4\u8f83\u3002<\/p>\n
\n\u52a8\u4f5c\u6267\u884c\u6a21\u578bWAA SRWAA ACSOSWorld-W SROSWorld-W ACSOSWorld-W Success Subset<\/tr>\n \n\nSingle<\/td>\n GPT-4o<\/td>\n 23.4%<\/td>\n 10.00<\/td>\n 30.22%<\/td>\n 22.4%<\/td>\n 13.30<\/td>\n<\/tr>\n \nSpeculative<\/td>\n GPT-4o<\/td>\n 23.4%<\/td>\n 8.78<\/td>\n 24.5%<\/td>\n 7.40<\/td>\n –<\/td>\n<\/tr>\n \nSingle<\/td>\n o1<\/td>\n 25.3%<\/td>\n 9.95<\/td>\n 32.24%<\/td>\n 24.5%<\/td>\n 6.80<\/td>\n<\/tr>\n \nSpeculative<\/td>\n o1<\/td>\n 24.7%<\/td>\n 8.85<\/td>\n 26.5%<\/td>\n 3.30<\/td>\n –<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u6848\u4f8b\u7814\u7a76\u3002 \u56fe22\u8bf4\u660e\u4e86\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u5728\u5b9e\u8df5\u4e2d\u7684\u8fd0\u4f5c\u65b9\u5f0f\u3002\u5f53\u7528\u6237\u8bf7\u6c42UFO\u00b2\u5728Word\u6587\u6863\u4e2d\u5c45\u4e2d\u5bf9\u9f50\u6807\u9898\u65f6，\u6b65\u9aa4\u5e8f\u5217\u901a\u5e38\u9700\u8981\u9009\u62e9\u6807\u9898\u6587\u672c\u7136\u540e\u70b9\u51fb\u5c45\u4e2d\u56fe\u6807\u3002\u8fd9\u4e9b\u52a8\u4f5c\u987a\u5e8f\u4f9d\u8d56\u4f46\u4e92\u4e0d\u5e72\u6270\u3002UFO\u00b2\u4e0d\u662f\u5c06\u6bcf\u4e2a\u52a8\u4f5c\u89c6\u4e3a\u5355\u72ec\u7684LLM\u63a8\u7406，\u800c\u662f\u5728\u5355\u4e00\u6b65\u9aa4\u4e2d\u9884\u6d4b\u4e24\u4e2a\u52a8\u4f5c，\u5229\u7528\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u89c4\u5212\u3002\u56e0\u6b64，\u5b83\u4ec5\u7528\u4e00\u6b21LLM\u8c03\u7528\u5c31\u5b8c\u6210\u4efb\u52a1，\u663e\u8457\u63d0\u9ad8\u4e86\u6548\u7387\u540c\u65f6\u4fdd\u6301\u51c6\u786e\u6027\u3002<\/p>\n
![\"\"](\"2026-10-09wdvg4cf3be4.png\")
<\/p>\n
\u56fe22. \u6210\u529f\u7684\u63a8\u6d4b\u6027\u591a\u52a8\u4f5c\u6267\u884c\u7684\u6848\u4f8b\u7814\u7a76\u3002\u56fe23. Operator vs. UFO\u00b2 + Operator\u5728WAA\u548cOSWorld-W\u4e0a\u7684\u6bd4\u8f83\u3002<\/p>\n
6.7 Operator\u4f5c\u4e3aAPPAGENT<\/h4>\n
\u4e3a\u4e86\u5c55\u793a\u201c\u4e00\u5207\u7686\u53ef\u4e3aAPPAGENT\u201d\u80fd\u529b（\u7b2c5.3\u8282），\u6211\u4eec\u8fdb\u884c\u4e86\u4e00\u9879\u5b9e\u9a8c，\u5176\u4e2dUFO\u00b2\u7684HostAgent\u7f16\u6392\u5668\u4ec5\u4f7f\u7528Operator\u4f5c\u4e3aAPPAGENT\u3002\u6362\u53e5\u8bdd\u8bf4，\u6240\u6709\u539f\u751fAPPAGENT\u88ab\u7981\u7528，\u8ba9Operator\u901a\u8fc7\u6807\u51c6UFO\u00b2\u6d88\u606f\u534f\u8bae\u63a5\u53d7\u5b50\u4efb\u52a1\u5e76\u901a\u4fe1\u3002\u5bf9Operator\u611f\u77e5\u5c42\u7684\u552f\u4e00\u8c03\u6574\u662f\u5c06\u5176\u9650\u5236\u4e3a\u6240\u9009\u5e94\u7528\u7a0b\u5e8f\u7a97\u53e3\u7684\u622a\u56fe，\u800c\u975e\u6574\u4e2a\u684c\u9762\u3002<\/p>\n
\u56fe23\u663e\u793aUFO\u00b2 + Operator\u6bd4\u5355\u72ec\u8fd0\u884cOperator\u83b7\u5f97\u66f4\u9ad8\u7684\u6210\u529f\u7387，\u7279\u522b\u662f\u5728WAA\u4e0a（26.0% vs. 20.8%）\u3002\u6211\u4eec\u5c06\u8fd9\u4e9b\u589e\u76ca\u5f52\u56e0\u4e8e\u4e09\u4e2a\u5173\u952e\u56e0\u7d20\u3002\u9996\u5148，HostAgent\u5c06\u590d\u6742\u7528\u6237\u6307\u4ee4\u5206\u89e3\u4e3a\u66f4\u6e05\u6670\u7684\u5355\u5e94\u7528\u7a0b\u5e8f\u5b50\u4efb\u52a1，\u51cf\u5c11\u6b67\u4e49\u3002\u5176\u6b21，HostAgent\u6d88\u606f\u5305\u542b\u989d\u5916\u7684\u63d0\u793a，\u6539\u5584Operator\u7684\u51b3\u7b56\u3002\u6700\u540e，\u5c06Operator\u7684\u89c6\u56fe\u9650\u5236\u4e3a\u5355\u4e2a\u6d3b\u52a8\u5e94\u7528\u7a0b\u5e8f\u7a97\u53e3\u51cf\u5c11\u89c6\u89c9\u566a\u58f0\u5e76\u7b80\u5316\u63a7\u5236\u68c0\u6d4b\u3002\u603b\u4e4b，\u8fd9\u4e9b\u7ed3\u679c\u5f3a\u8c03\u4e86UFO\u00b2\u591a\u4ee3\u7406\u8bbe\u8ba1\u7684\u4f18\u52bf，\u540c\u65f6\u5c55\u793a\u4e86\u201c\u4e00\u5207\u7686\u53ef\u4e3aAPPAGENT\u201d\u5982\u4f55\u63d0\u5347\u73b0\u6709CUA\u7684\u6027\u80fd\u3002<\/p>\n
6.8 \u6548\u7387\u5206\u6790<\/h4>\n
\u4e3a\u4e86\u5168\u9762\u7406\u89e3UFO\u00b2\u7684\u6027\u80fd\u7279\u5f81，\u6211\u4eec\u8fdb\u884c\u4e86\u4efb\u52a1\u6267\u884c\u6548\u7387\u7684\u8be6\u7ec6\u5206\u6790，\u7279\u522b\u5173\u6ce8\u6b65\u9aa4\u6570\u548c\u5ef6\u8fdf\u3002<\/p>\n
\u6b65\u9aa4\u6570\u5206\u6790\u3002 \u88688\u603b\u7ed3\u4e86HostAgent\u548cAPPAGENT\u5728\u4e24\u4e2a\u57fa\u51c6\u5957\u4ef6\u4e0a\u6267\u884c\u7684\u5e73\u5747\u6267\u884c\u6b65\u9aa4\u6570\u3002\u62a5\u544a\u7684\u6b65\u9aa4\u662f\u5728\u6240\u6709\u6a21\u578b\u914d\u7f6e\u4e2d\u6210\u529f\u5b8c\u6210\u7684\u4efb\u52a1\u4e0a\u8ba1\u7b97\u7684，\u786e\u4fdd\u516c\u5e73\u6bd4\u8f83\u3002\u51fa\u73b0\u4e86\u4e24\u4e2a\u5173\u952e\u89c1\u89e3：<\/p>\n
\u9996\u5148，\u5b8c\u5168\u96c6\u6210\u7684UFO\u00b2\u914d\u7f6e\u59cb\u7ec8\u51cf\u5c11\u6240\u9700\u7684\u5e73\u5747\u6b65\u9aa4\u6570，\u76f8\u6bd4\u57fa\u7ebf（UFO\u00b2-base），\u51cf\u5c11\u9ad8\u8fbe50%\u3002\u8fd9\u79cd\u5b9e\u8d28\u6027\u7684\u6548\u7387\u589e\u76ca\u5c55\u793a\u4e86\u6df1\u5ea6OS\u96c6\u6210，\u7279\u522b\u662f\u6df7\u5408GUI-API\u52a8\u4f5c\u7f16\u6392\u548c\u9ad8\u7ea7\u63a7\u5236\u68c0\u6d4b\u7b56\u7565，\u5982\u4f55\u663e\u8457\u7b80\u5316\u6267\u884c\u8def\u5f84\u3002<\/p>\n
\u5176\u6b21，\u5229\u7528\u66f4\u5f3a\u5927\u7684\u63a8\u7406\u6a21\u578b（\u5982o1 vs GPT-4o）\u8fdb\u4e00\u6b65\u51cf\u5c11\u6b65\u9aa4\u6570，\u8868\u660e\u589e\u5f3a\u7684\u63a8\u7406\u80fd\u529b\u4f7f\u4ee3\u7406\u80fd\u591f\u8bc6\u522b\u548c\u5229\u7528\u66f4\u9ad8\u6548\u7684\u52a8\u4f5c\u5e8f\u5217\u3002\u4f8b\u5982，\u66f4\u5f3a\u7684\u6a21\u578b\u53ef\u4ee5\u66f4\u597d\u5730\u5229\u7528\u76f4\u63a5API\u4ea4\u4e92\u6216\u907f\u514d\u4e0d\u5fc5\u8981\u7684\u4e2d\u95f4GUI\u4ea4\u4e92\u3002\u8fd9\u5f3a\u8c03\u4e86\u7a33\u5065\u7cfb\u7edf\u96c6\u6210\u548c\u9ad8\u7ea7LLM\u63a8\u7406\u5728\u6700\u5c0f\u5316\u6267\u884c\u5f00\u9500\u65b9\u9762\u7684\u4e92\u8865\u4f5c\u7528\u3002<\/p>\n
\u88688. UFO2\u7684\u6b65\u9aa4\u6570\u7edf\u8ba1\u3002<\/p>\n
\n\u4ee3\u7406\u6a21\u578bWAA HostAgentWAA AppAgentWAA TotalWAA Success SubsetOSWorld-W HostAgentOSWorld-W AppAgentOSWorld-W TotalOSWorld-W Success Subset<\/tr>\n \n\nUFO2-base<\/td>\n GPT-4o<\/td>\n 2.21<\/td>\n 8.11<\/td>\n 10.32<\/td>\n 31<\/td>\n 1.80<\/td>\n 10.80<\/td>\n 12.60<\/td>\n 7<\/td>\n<\/tr>\n \nUFO2<\/td>\n GPT-4o<\/td>\n 2.32<\/td>\n 7.89<\/td>\n 10.21<\/td>\n 2.80<\/td>\n 7.20<\/td>\n 10.00<\/td>\n –<\/td>\n –<\/td>\n<\/tr>\n \nUFO2-base<\/td>\n o1<\/td>\n 2.14<\/td>\n 7.00<\/td>\n 9.14<\/td>\n 34<\/td>\n 2.50<\/td>\n 8.83<\/td>\n 11.33<\/td>\n 8<\/td>\n<\/tr>\n \nUFO2<\/td>\n o1<\/td>\n 2.00<\/td>\n 4.05<\/td>\n 6.05<\/td>\n 2.00<\/td>\n 3.50<\/td>\n 5.50<\/td>\n –<\/td>\n –<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u5ef6\u8fdf\u5206\u89e3\u3002 \u56fe24\u63d0\u4f9b\u4e86UFO2\u4e2d\u6bcf\u6267\u884c\u6b65\u9aa4\u5e73\u5747\u5ef6\u8fdf\u7684\u8be6\u7ec6\u5206\u89e3，\u5206\u4e3a\u4e94\u4e2a\u5173\u952e\u9636\u6bb5：（i）\u622a\u56fe\u6355\u83b7，（ii）\u901a\u8fc7UIA API（\u548cOmniParser-v2）\u7684\u63a7\u5236\u68c0\u6d4b，（iii）\u63d0\u793a\u51c6\u5907，\u5305\u62ec\u68c0\u7d22\u76f8\u5173\u5e2e\u52a9\u6587\u6863\u548c\u5386\u53f2\u6267\u884c\u7ecf\u9a8c，（iv）LLM\u63a8\u7406，\u4ee5\u53ca（v）\u5728\u76ee\u6807\u5e94\u7528\u7a0b\u5e8f\u4e0a\u7684\u52a8\u4f5c\u6267\u884c\u3002<\/p>\n
\u5728\u6240\u6709\u914d\u7f6e\u4e2d，LLM\u63a8\u7406\u9636\u6bb5\u4e3b\u5bfc\u603b\u5ef6\u8fdf，\u5e73\u5747\u6bcf\u6b21\u63a8\u7406\u7ea610\u79d2\u3002\u8fd9\u4e00\u74f6\u9888\u7a81\u51fa\u4e86\u901a\u8fc7\u90e8\u7f72\u66f4\u5c0f\u7684\u4e13\u7528\u6a21\u578b\u6216\u4f7f\u7528\u66f4\u5f3a\u5927\u7684\u63a8\u7406\u786c\u4ef6\u6765\u4f18\u5316\u7684\u660e\u786e\u673a\u4f1a\u2014\u2014\u8fd9\u4e9b\u7b56\u7565\u4ecd\u7136\u53ef\u884c\u4f46\u8d85\u51fa\u6211\u4eec\u5f53\u524d\u8bc4\u4f30\u8303\u56f4\u3002<\/p>\n
\u6392\u9664LLM\u63a8\u7406\u5f00\u9500，\u57fa\u7ebf\u7cfb\u7edf（UFO2-base）\u5b9e\u73b0\u4e86\u9ad8\u6548\u7684\u6267\u884c，\u5e73\u5747\u6bcf\u6b65\u7ea610\u79d2\u3002\u76f8\u53cd，\u5b8c\u5168\u96c6\u6210\u7684UFO2\u4ec5\u4e3a\u5176\u6df7\u5408\u63a7\u5236\u68c0\u6d4b\u6d41\u6c34\u7ebf\u589e\u52a0\u7ea61\u79d2\u6bcf\u6b65，\u4e3b\u8981\u7531\u4e8eOmniParser-v2\u89c6\u89c9\u89e3\u6790\u3002\u8fd9\u79cd\u989d\u5916\u5f00\u9500\u662f\u6709\u610f\u7684\u6743\u8861，\u4ee5\u9002\u5ea6\u7684\u5ef6\u8fdf\u6210\u672c\u663e\u8457\u589e\u5f3aGUI\u63a7\u5236\u68c0\u6d4b\u7684\u7a33\u5065\u6027\u548c\u51c6\u786e\u6027\u3002<\/p>\n
\u603b\u4e4b，\u8fd9\u4e9b\u7ed3\u679c\u8868\u660e\u6bcf\u4e2a\u4efb\u52a1\u6240\u9700\u603b\u6b65\u9aa4\u7684\u5927\u5e45\u51cf\u5c11\u786e\u4fdd\u6574\u4f53\u4efb\u52a1\u5b8c\u6210\u65f6\u95f4\u4fdd\u6301\u5b9e\u7528（\u7ea6\u6bcf\u5206\u949f\u4e00\u4e2a\u4efb\u52a1）\u3002\u8fd9\u4e9b\u5206\u6790\u89c1\u89e3\u5f3a\u5316\u4e86UFO2\u7684\u5168\u9762\u7cfb\u7edf\u7ea7\u96c6\u6210\u5e73\u8861\u4e86\u5ef6\u8fdf\u3001\u51c6\u786e\u6027\u548c\u6548\u7387，\u4e3a\u771f\u5b9e\u4e16\u754c\u684c\u9762\u81ea\u52a8\u5316\u63d0\u4f9b\u4e86\u53ef\u6269\u5c55\u4e14\u9ad8\u6027\u80fd\u7684\u89e3\u51b3\u65b9\u6848\u3002<\/p>\n
![\"\"](\"2026-10-09p1dozxbm5aq.png\")
<\/p>\n
\u56fe24. \u5355\u4e2a\u6267\u884c\u6b65\u9aa4\u6bcf\u9636\u6bb5\u7684\u5e73\u5747\u65f6\u95f4\u6210\u672c\u3002<\/p>\n
6.9 \u6a21\u578b\u6d88\u878d<\/h4>\n
\u56fe25\u6bd4\u8f83\u4e86UFO2\u548cUFO2-base\u5728\u56db\u4e2a\u5927\u8bed\u8a00\u6a21\u578b\u4e0a\u7684\u6027\u80fd\u3002GPT-4V\u548cGPT-4o\u751f\u6210\u76f4\u63a5\u7b54\u6848\u800c\u4e0d\u66b4\u9732\u663e\u5f0fCoT，\u800cGemini 2.0（Flash Thinking）\u548co1\u5728\u4ea7\u751f\u6700\u7ec8\u8f93\u51fa\u4e4b\u524d\u5185\u90e8\u5d4c\u5165\u63a8\u7406\u6b65\u9aa4\u3002\u603b\u4f53\u800c\u8a00，\u5177\u6709\u5185\u7f6e\u63a8\u7406\u7684\u6a21\u578b\u901a\u5e38\u5b9e\u73b0\u66f4\u9ad8\u7684\u6210\u529f\u7387（SR），\u7a81\u51fa\u4e86\u66f4\u5177\u6df1\u601d\u719f\u8651\u6216CoT\u9a71\u52a8\u8fc7\u7a0b\u5728\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u7684\u4ef7\u503c[52]\u3002<\/p>\n
![\"\"](\"2026-10-09bvco4dd5kha.png\")
<\/p>\n
\u56fe25. UFO2\u548cUFO2-base\u5728WAA\u548cOSWorld-W\u4e0a\u4f7f\u7528\u4e0d\u540cLLM\u7684\u6bd4\u8f83\u3002<\/p>\n
\u8fd9\u4e00\u7ed3\u679c\u4e3aCUA\u6307\u660e\u4e86\u4e00\u4e2a\u6709\u524d\u666f\u7684\u65b9\u5411：\u4e3a\u684c\u9762\u81ea\u52a8\u5316\u4efb\u52a1\u5fae\u8c03\u9ad8\u7ea7\u63a8\u7406\u6a21\u578b\u3002\u901a\u8fc7\u5141\u8bb8\u4ee3\u7406\u5236\u5b9a\u548c\u7ec6\u5316\u591a\u6b65\u9aa4\u8ba1\u5212\u2014\u2014\u7279\u522b\u662f\u4e0e\u66f4\u6df1\u7684OS\u7ea7\u4fe1\u53f7\u96c6\u6210\u65f6\u2014\u2014UFO2\u53ef\u4ee5\u66f4\u53ef\u9760\u5730\u5904\u7406\u590d\u6742\u6216\u6a21\u7cca\u60c5\u51b5\u3002\u968f\u7740\u57fa\u4e8eLLM\u7684\u63a8\u7406\u7ee7\u7eed\u6210\u719f，\u6211\u4eec\u671f\u671b\u4eceUFO2\u7684\u6a21\u578b\u65e0\u5173\u8bbe\u8ba1\u4e2d\u83b7\u5f97\u51c6\u786e\u6027\u548c\u901a\u7528\u6027\u7684\u8fdb\u4e00\u6b65\u589e\u76ca\u3002<\/p>\n
7 \u8ba8\u8bba\u4e0e\u672a\u6765\u5de5\u4f5c<\/h3>\n
\u5ef6\u8fdf\u4e0e\u54cd\u5e94\u6027\u3002 UFO2\u76ee\u524d\u5728\u6bcf\u4e2a\u51b3\u7b56\u6b65\u9aa4\u8c03\u7528LLM\u63a8\u7406，\u4ea7\u751f\u901a\u5e38\u4ece\u51e0\u79d2\u5230\u51e0\u5341\u79d2\u6bcf\u52a8\u4f5c\u7684\u5ef6\u8fdf\u3002\u5c3d\u7ba1\u6709\u5404\u79cd\u5de5\u7a0b\u4f18\u5316，\u5305\u542b\u591a\u4e2a\u987a\u5e8f\u52a8\u4f5c\u7684\u590d\u6742\u4efb\u52a1\u53ef\u80fd\u7d2f\u79ef\u52301-2\u5206\u949f\u7684\u6267\u884c\u65f6\u95f4，\u8fd9\u4ecd\u7136\u53ef\u63a5\u53d7\u4f46\u4ecd\u4e0d\u5982\u719f\u7ec3\u7684\u4eba\u7c7b\u8868\u73b0\u3002\u4e3a\u4e86\u7f13\u89e3\u7528\u6237\u611f\u77e5\u7684\u5ef6\u8fdf，\u6211\u4eec\u5f15\u5165\u4e86\u753b\u4e2d\u753b（PiP）\u754c\u9762，\u4f7fUFO2\u80fd\u591f\u5728\u9694\u79bb\u7684\u865a\u62df\u684c\u9762\u4e2d\u4e0d\u5f15\u4eba\u6ce8\u76ee\u5730\u6267\u884c\u4efb\u52a1，\u4ece\u800c\u5728\u957f\u65f6\u95f4\u81ea\u52a8\u5316\u671f\u95f4\u5927\u5e45\u51cf\u5c11\u7528\u6237\u4e0d\u4fbf\u3002\u5728\u672a\u6765\u5de5\u4f5c\u4e2d，\u6211\u4eec\u65e8\u5728\u901a\u8fc7\u7814\u7a76\u90e8\u7f72\u4e13\u95e8\u7684\u8f7b\u91cf\u7ea7\u5927\u52a8\u4f5c\u6a21\u578b（LAM）[13]\u6765\u8fdb\u4e00\u6b65\u964d\u4f4e\u5ef6\u8fdf，\u9488\u5bf9\u4efb\u52a1\u7279\u5b9a\u63a8\u7406\u4f18\u5316\u4ee5\u63d0\u9ad8\u54cd\u5e94\u6027\u548c\u53ef\u6269\u5c55\u6027\u3002<\/p>\n
\u7f29\u5c0f\u4e0e\u4eba\u7c7b\u7ea7\u6027\u80fd\u7684\u5dee\u8ddd\u3002 \u6211\u4eec\u7684\u5168\u9762\u8bc4\u4f30\u8868\u660e，UFO2\u867d\u7136\u7a33\u5065\u6709\u6548，\u4f46\u5c1a\u672a\u5728\u6240\u6709Windows\u5e94\u7528\u7a0b\u5e8f\u4e2d\u6301\u7eed\u8fbe\u5230\u4eba\u7c7b\u7ea7\u6027\u80fd\u3002\u5f25\u5408\u8fd9\u4e00\u5dee\u8ddd\u5c06\u4e3b\u8981\u9700\u8981\u5728\u4e24\u4e2a\u5173\u952e\u7ef4\u5ea6\u4e0a\u53d6\u5f97\u8fdb\u5c55\u3002\u9996\u5148，\u901a\u8fc7\u5728\u5e7f\u6cdb\u3001\u591a\u6837\u5316\u7684GUI\u4ea4\u4e92\u6570\u636e\u96c6\u4e0a\u5fae\u8c03\u6765\u589e\u5f3a\u57fa\u7840\u89c6\u89c9-\u8bed\u8a00\u6a21\u578b，\u5c06\u663e\u8457\u63d0\u9ad8\u4ee3\u7406\u5728\u5404\u79cd\u5e94\u7528\u7a0b\u5e8f\u4e2d\u7684\u80fd\u529b\u548c\u6cdb\u5316\u3002\u5176\u6b21，\u4e0eOS\u7ea7API\u3001\u539f\u751f\u5e94\u7528\u7a0b\u5e8f\u63a5\u53e3\u548c\u5168\u9762\u3001\u7ed3\u6784\u5316\u6587\u6863\u6765\u6e90\u7684\u66f4\u7d27\u5bc6\u96c6\u6210\u5c06\u6df1\u5316\u4e0a\u4e0b\u6587\u7406\u89e3\u5e76\u589e\u5f3a\u6267\u884c\u53ef\u9760\u6027\u3002\u9274\u4e8eUFO2\u7684\u6a21\u5757\u5316\u67b6\u6784，\u8fd9\u4e9b\u589e\u5f3a\u53ef\u4ee5\u589e\u91cf\u91c7\u7528，\u6301\u7eed\u6539\u8fdb\u6027\u80fd，\u671d\u7740\u5728\u591a\u6837\u5316\u5e94\u7528\u573a\u666f\u4e2d\u8fbe\u5230\u4eba\u7c7b\u7b49\u6548\u719f\u7ec3\u5ea6\u8fc8\u8fdb\u3002<\/p>\n
\u8de8\u64cd\u4f5c\u7cfb\u7edf\u6cdb\u5316\u3002 \u867d\u7136UFO\u00b2\u9488\u5bf9Windows OS，\u7531\u4e8e\u5176\u5e7f\u6cdb\u7684\u5e02\u573a\u91c7\u7528（\u8d85\u8fc770%\u5e02\u573a\u4efd\u989d\u00b2），\u6a21\u5757\u5316\u3001\u5206\u5c42\u7cfb\u7edf\u8bbe\u8ba1\u4fbf\u4e8e\u9002\u914d\u5176\u4ed6\u684c\u9762\u5e73\u53f0，\u5982Linux\u548cmacOS\u3002\u6838\u5fc3\u65b9\u6cd5\u2014\u2014\u5229\u7528Windows UI Automation（UIA）\u7b49\u65e0\u969c\u788d\u6846\u67b6\u2014\u2014\u5728Linux（AT-SPI [53]）\u548cmacOS（Accessibility API [54]）\u4e0a\u6709\u76f4\u63a5\u5bf9\u5e94\u7269\u3002\u56e0\u6b64，\u73b0\u6709\u8bbe\u8ba1\u539f\u5219\u3001\u4ee3\u7406\u5206\u89e3\u7b56\u7565\u548c\u7edf\u4e00GUI-API\u7f16\u6392\u6a21\u578b\u81ea\u7136\u6cdb\u5316，\u5b9e\u73b0\u5feb\u901f\u7684\u5e73\u53f0\u7279\u5b9a\u5b9a\u5236\u3002\u63a2\u7d22\u8de8\u5e73\u53f0\u90e8\u7f72\u5c06\u662f\u672a\u6765\u5de5\u4f5c\u7684\u91cd\u8981\u9886\u57df，\u53ef\u80fd\u4e3a\u8de8\u8d8a\u591a\u6837\u64cd\u4f5c\u73af\u5883\u7684\u7edf\u4e00\u684c\u9762\u81ea\u52a8\u5316\u89e3\u51b3\u65b9\u6848\u751f\u6001\u7cfb\u7edf\u5960\u5b9a\u57fa\u7840\u3002<\/p>\n
8 \u76f8\u5173\u5de5\u4f5c<\/h3>\n
\u5c06LLM\u96c6\u6210\u5230OS\u4e2d\u4ee3\u8868\u4e86\u4e00\u4e2a\u589e\u957f\u4f46\u4ecd\u5904\u4e8e\u521d\u671f\u9636\u6bb5\u7684\u7814\u7a76\u9886\u57df\u3002\u5728\u672c\u8282\u4e2d，\u6211\u4eec\u8ba8\u8bba\u4e0e\u6211\u4eec\u5728\u57fa\u4e8e\u591a\u6a21\u6001LLM\u7684\u684c\u9762\u81ea\u52a8\u5316\u4ee3\u7406\u7684\u7cfb\u7edf\u7ea7\u96c6\u6210\u7814\u7a76\u76f8\u4ea4\u7684\u5148\u524d\u5de5\u4f5c\u3002<\/p>\n
8.1 \u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）<\/h4>\n
\u591a\u6a21\u6001LLM\u7684\u6700\u65b0\u8fdb\u5c55\u663e\u8457\u52a0\u901f\u4e86\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）\u7684\u53d1\u5c55，\u8fd9\u4e9b\u4ee3\u7406\u901a\u8fc7\u5728OS\u7ea7\u6a21\u62dfGUI\u4ea4\u4e92\u6765\u81ea\u52a8\u5316\u684c\u9762\u5de5\u4f5c\u6d41\u3002\u65e9\u671f\u5f00\u521b\u6027\u7cfb\u7edf，\u5982UFO [10]，\u5229\u7528\u591a\u6a21\u6001\u6a21\u578b（\u5982GPT-4V [20]）\u7ed3\u5408UIA API\u6765\u89e3\u91ca\u56fe\u5f62\u754c\u9762\u5e76\u901a\u8fc7\u81ea\u7136\u8bed\u8a00\u6307\u4ee4\u6267\u884c\u590d\u6742\u4efb\u52a1\u3002UFO\u7279\u522b\u5f15\u5165\u4e86\u591a\u4ee3\u7406\u67b6\u6784，\u589e\u5f3a\u4e86CUA\u5904\u7406\u8de8\u5e94\u7528\u7a0b\u5e8f\u548c\u957f\u671f\u5de5\u4f5c\u6d41\u7684\u53ef\u9760\u6027\u548c\u80fd\u529b\u3002<\/p>\n
\u540e\u7eed\u52aa\u529b\u4e3b\u8981\u96c6\u4e2d\u5728\u6539\u8fdb\u5e95\u5c42\u591a\u6a21\u6001\u6a21\u578b\u548c\u6269\u5c55\u5e73\u53f0\u80fd\u529b\u3002\u4f8b\u5982，CogAgent [55]\u5efa\u7acb\u5728\u89c6\u89c9\u8bed\u8a00\u6a21\u578bCogVLM [56]\u4e4b\u4e0a，\u4e13\u6ce8\u4e8e\u8de8\u591a\u4e2a\u5e73\u53f0（PC\u3001Web\u3001Android）\u7684GUI\u7406\u89e3，\u4ee3\u8868\u4e86\u6700\u65e9\u7684\u4e13\u7528\u591a\u6a21\u6001CUA\u4e4b\u4e00\u3002\u884c\u4e1a\u5174\u8da3\u540c\u6837\u52a0\u901f，Anthropic\u7684Claude-3.5（Computer Use）[11]\u662f\u4e00\u4e2a\u5b8c\u5168\u4f9d\u8d56\u57fa\u4e8e\u622a\u56feGUI\u4ea4\u4e92\u7684\u4ee3\u7406，OpenAI\u7684Operator [12]\u901a\u8fc7\u5148\u8fdb\u7684\u591a\u6a21\u6001\u63a8\u7406\u663e\u8457\u63d0\u9ad8\u4e86\u684c\u9762\u81ea\u52a8\u5316\u6027\u80fd\u3002<\/p>\n
\u7136\u800c，\u8fd9\u4e9b\u73b0\u6709CUA\u5728\u5f88\u5927\u7a0b\u5ea6\u4e0a\u4ecd\u662f\u539f\u578b\u6f14\u793a，\u901a\u5e38\u7f3a\u4e4f\u4e0eOS\u548c\u539f\u751f\u5e94\u7528\u7a0b\u5e8f\u80fd\u529b\u7684\u6df1\u5ea6\u96c6\u6210\u3002\u76f8\u53cd，\u6211\u4eec\u5728UFO\u00b2\u4e2d\u7684\u5de5\u4f5c\u901a\u8fc7\u6a21\u5757\u5316AgentOS\u67b6\u6784\u3001\u6df1\u5ea6OS\u548cAPI\u96c6\u6210\u3001\u6df7\u5408GUI\u68c0\u6d4b\u548c\u975e\u7834\u574f\u6027\u6267\u884c\u6a21\u578b\u76f4\u63a5\u89e3\u51b3\u4e86\u8fd9\u4e9b\u6839\u672c\u6027\u7cfb\u7edf\u7ea7\u9650\u5236，\u5f25\u5408\u4e86\u6982\u5ff5\u6027CUA\u548c\u5b9e\u7528\u684c\u9762\u81ea\u52a8\u5316\u4e4b\u95f4\u7684\u5dee\u8ddd\u3002<\/p>\n
8.2 \u7528\u4e8e\u64cd\u4f5c\u7cfb\u7edf\u7684LLM<\/h4>\n
\u53e6\u4e00\u4e2a\u6709\u524d\u666f\u7684\u7814\u7a76\u65b9\u5411\u6d89\u53ca\u5c06LLM\u76f4\u63a5\u5d4c\u5165OS\u67b6\u6784，\u65e8\u5728\u5927\u5e45\u589e\u5f3a\u81ea\u52a8\u5316\u3001\u9002\u5e94\u6027\u548c\u53ef\u7528\u6027\u3002Ge\u7b49\u4eba\u9996\u5148\u63d0\u51fa\u4e86\u6982\u5ff5\u6846\u67b6AIOS [57]，\u5c06LLM\u7f6e\u4e8eOS\u8bbe\u8ba1\u7684\u4e2d\u5fc3，\u4ee5\u7f16\u6392\u9ad8\u5c42\u7528\u6237\u4ea4\u4e92\u548c\u81ea\u52a8\u5316\u51b3\u7b56\u3002\u5728\u4ed6\u4eec\u7684\u613f\u666f\u4e2d，\u4ee3\u7406\u7c7b\u4f3c\u4e8eOS\u5e94\u7528\u7a0b\u5e8f，\u6bcf\u4e2a\u90fd\u66b4\u9732\u53ef\u901a\u8fc7\u81ea\u7136\u8bed\u8a00\u8bbf\u95ee\u7684\u4e13\u95e8\u80fd\u529b，\u6709\u6548\u5730\u4f7f\u7528\u6237\u80fd\u591f\u76f4\u89c2\u5730\u201c\u7f16\u7a0b\u201d\u5176OS\u3002<\/p>\n
\u5728\u8fd9\u4e00\u6982\u5ff5\u57fa\u7840\u4e0a，Mei\u7b49\u4eba[58]\u5c06AIOS\u5b9e\u73b0\u4e3a\u5177\u4f53\u539f\u578b，\u5c06LLM\u4ea4\u4e92\u548c\u5de5\u5177API\u5c01\u88c5\u5728\u7279\u6743OS\u5185\u6838\u4e2d\u3002\u8fd9\u79cd\u8bbe\u8ba1\u63d0\u4f9b\u6838\u5fc3OS\u529f\u80fd，\u5982\u8fdb\u7a0b\u8c03\u5ea6\u3001\u5185\u5b58\u7ba1\u7406\u3001I\/O\u5904\u7406\u548c\u8bbf\u95ee\u63a7\u5236，\u5229\u7528LLM\u901a\u8fc7\u4e13\u7528SDK\u7b80\u5316\u4ee3\u7406\u5f00\u53d1\u3002Rama\u7b49\u4eba[59]\u6269\u5c55\u4e86\u8fd9\u4e00\u8303\u5f0f，\u901a\u8fc7\u57fa\u4e8eAIOS\u7684\u4ee3\u7406\u5728\u4f20\u7edfOS\u73af\u5883\u4e2d\u76f4\u63a5\u5f15\u5165\u8bed\u4e49\u6587\u4ef6\u7ba1\u7406\u80fd\u529b，\u8fdb\u4e00\u6b65\u5c55\u793a\u4e86\u5b9e\u9645\u7cfb\u7edf\u7ea7\u96c6\u6210\u3002<\/p>\n
\u8865\u5145\u8fd9\u4e9b\u9ad8\u5c42OS\u96c6\u6210，AutoOS [60]\u5e94\u7528LLM\u81ea\u52a8\u8c03\u6574Linux\u4e2d\u7684\u5185\u6838\u7ea7\u53c2\u6570，\u901a\u8fc7\u81ea\u4e3b\u63a2\u7d22\u548c\u4f18\u5316\u5b9e\u73b0\u663e\u8457\u6548\u7387\u589e\u76ca\u3002\u8fd9\u7a81\u51fa\u4e86LLM\u96c6\u6210\u53ef\u4ee5\u76f4\u63a5\u589e\u5f3a\u6838\u5fc3\u7cfb\u7edf\u6027\u80fd\u548c\u7ba1\u7406\u7684\u53e6\u4e00\u4e2a\u7ef4\u5ea6\u3002<\/p>\n
\u603b\u4f53\u800c\u8a00，\u8fd9\u4e9b\u7814\u7a76\u5de5\u4f5c\u8bf4\u660e\u4e86\u65b0\u5174\u7684\u8303\u5f0f\u8f6c\u53d8，\u5176\u4e2dLLM\u6210\u4e3a\u64cd\u4f5c\u7cfb\u7edf\u7684\u7ec4\u6210\u90e8\u5206，\u5b9e\u73b0\u5f3a\u5927\u7684\u81ea\u52a8\u5316\u3001\u589e\u5f3a\u7684\u7528\u6237\u4ea4\u4e92\u548c\u81ea\u9002\u5e94\u7cfb\u7edf\u884c\u4e3a\u3002\u6211\u4eec\u5728UFO\u00b2\u4e2d\u7684\u5de5\u4f5c\u5c06\u8fd9\u4e00\u7814\u7a76\u65b9\u5411\u4e13\u95e8\u6269\u5c55\u5230\u684c\u9762\u81ea\u52a8\u5316，\u63d0\u4f9b\u6df1\u5ea6\u96c6\u6210\u3001\u53ef\u6269\u5c55\u4e14\u5b9e\u7528\u7684AgentOS，\u5229\u7528\u591a\u6a21\u6001LLM\u4e0e\u7a33\u5065\u7684OS\u7ea7\u673a\u5236\u76f8\u7ed3\u5408\u3002<\/p>\n
9 \u7ed3\u8bba<\/h3>\n
\u6211\u4eec\u4ecb\u7ecd\u4e86UFO\u00b2，\u4e00\u79cd\u5b9e\u7528\u7684\u3001OS\u96c6\u6210\u7684Windows\u684c\u9762\u81ea\u52a8\u5316AgentOS，\u5c06CUA\u4ece\u6982\u5ff5\u539f\u578b\u8f6c\u53d8\u4e3a\u7a33\u5065\u3001\u9762\u5411\u7528\u6237\u7684\u89e3\u51b3\u65b9\u6848\u3002\u4e0e\u5148\u524dCUA\u4e0d\u540c，UFO2\u901a\u8fc7\u6a21\u5757\u5316\u3001\u591a\u4ee3\u7406\u67b6\u6784\u5229\u7528\u6df1\u5ea6\u7cfb\u7edf\u7ea7\u96c6\u6210，\u8be5\u67b6\u6784\u7531\u96c6\u4e2d\u5f0fHostAgent\u548c\u5e94\u7528\u7a0b\u5e8f\u4e13\u7528AppAgent\u7ec4\u6210\u3002\u6bcf\u4e2aAppAgent\u65e0\u7f1d\u7ed3\u5408GUI\u4ea4\u4e92\u4e0e\u539f\u751fAPI，\u5e76\u6301\u7eed\u96c6\u6210\u5e94\u7528\u7a0b\u5e8f\u7279\u5b9a\u77e5\u8bc6，\u5927\u5e45\u63d0\u9ad8\u53ef\u9760\u6027\u548c\u6267\u884c\u6548\u7387\u3002UFO2\u53ef\u4ee5\u5728PiP\u865a\u62df\u684c\u9762\u754c\u9762\u4e0a\u8fd0\u884c，\u8fdb\u4e00\u6b65\u589e\u5f3a\u53ef\u7528\u6027，\u5b9e\u73b0\u5e76\u53d1\u7528\u6237-\u4ee3\u7406\u5de5\u4f5c\u6d41\u800c\u4e92\u4e0d\u5e72\u6270\u3002<\/p>\n
\u6211\u4eec\u572820\u591a\u4e2a\u771f\u5b9eWindows\u5e94\u7528\u7a0b\u5e8f\u4e0a\u7684\u5168\u9762\u8bc4\u4f30\u8868\u660e，UFO2\u5728\u7a33\u5065\u6027\u3001\u51c6\u786e\u6027\u548c\u53ef\u6269\u5c55\u6027\u65b9\u9762\u76f8\u6bd4\u6700\u5148\u8fdb\u7684CUA\u53d6\u5f97\u4e86\u663e\u8457\u6539\u8fdb\u3002\u503c\u5f97\u6ce8\u610f\u7684\u662f，\u901a\u8fc7\u5c06\u6211\u4eec\u7684\u96c6\u6210\u6846\u67b6\u4e0e\u7a33\u5065\u7684OS\u7ea7\u7279\u6027\u8026\u5408，\u5373\u4f7f\u662f\u8f83\u5c11\u4e13\u95e8\u5316\u7684\u57fa\u7840\u6a21\u578b（\u5982GPT-4o）\u4e5f\u8d85\u8d8a\u4e86\u4e13\u95e8\u5316\u7684CUA\u5982Operator\u3002<\/p>\n","protected":false},"excerpt":{"rendered":"
\u8fd9\u7bc7\u8bba\u6587\u4ecb\u7ecd\u4e86 UFO2，\u4e00\u4e2a\u9762\u5411 Windows \u684c\u9762\u7684 \u591a\u667a\u80fd\u4f53 AgentOS（\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf），\u65e8\u5728\u89e3\u51b3\u73b0\u6709\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）\u5728\u771f\u5b9e\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u9762\u4e34\u7684\u7cfb\u7edf\u7ea7\u74f6\u9888\u3002\u4ee5\u4e0b\u662f\u5bf9\u5176\u7814\u7a76\u5185\u5bb9\u7684\u5168\u9762\u603b\u7ed3\u3002
\n\u4e00\u3001\u7814\u7a76\u80cc\u666f\u4e0e\u6838\u5fc3\u95ee\u9898
\n1.1 \u73b0\u6709\u684c\u9762\u81ea\u52a8\u5316\u7684\u5c40\u9650 \u4f20\u7edf RPA（\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316）：\u4f9d\u8d56\u9884\u5b9a\u4e49\u811a\u672c\u548c\u8868\u9762 GUI \u7ebf\u7d22（\u50cf<\/p>\n","protected":false},"author":2,"featured_media":114413,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[13032,13031,13030,13033,75],"topic":[],"class_list":["post-114433","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-server","tag-agentos","tag-gui-agent","tag-ufo","tag-13033","tag-llm"],"yoast_head":"\n
UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.wsisp.com\/helps\/114433.html\" \/>\n<meta property=\"og:locale\" content=\"zh_CN\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3\" \/>\n<meta property=\"og:description\" content=\"\u8fd9\u7bc7\u8bba\u6587\u4ecb\u7ecd\u4e86 UFO2，\u4e00\u4e2a\u9762\u5411 Windows \u684c\u9762\u7684 \u591a\u667a\u80fd\u4f53 AgentOS（\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf），\u65e8\u5728\u89e3\u51b3\u73b0\u6709\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）\u5728\u771f\u5b9e\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u9762\u4e34\u7684\u7cfb\u7edf\u7ea7\u74f6\u9888\u3002\u4ee5\u4e0b\u662f\u5bf9\u5176\u7814\u7a76\u5185\u5bb9\u7684\u5168\u9762\u603b\u7ed3\u3002 \u4e00\u3001\u7814\u7a76\u80cc\u666f\u4e0e\u6838\u5fc3\u95ee\u9898 1.1 \u73b0\u6709\u684c\u9762\u81ea\u52a8\u5316\u7684\u5c40\u9650 \u4f20\u7edf RPA（\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316）：\u4f9d\u8d56\u9884\u5b9a\u4e49\u811a\u672c\u548c\u8868\u9762 GUI \u7ebf\u7d22（\u50cf\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.wsisp.com\/helps\/114433.html\" \/>\n<meta property=\"og:site_name\" content=\"\u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3\" \/>\n<meta property=\"article:published_time\" content=\"2026-10-09T00:26:54+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002647-6ac834c75fda4.png\" \/>\n<meta name=\"author\" content=\"admin\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u4f5c\u8005\" \/>\n\t<meta name=\"twitter:data1\" content=\"admin\" \/>\n\t<meta name=\"twitter:label2\" content=\"\u9884\u8ba1\u9605\u8bfb\u65f6\u95f4\" \/>\n\t<meta name=\"twitter:data2\" content=\"17 \u5206\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.wsisp.com\/helps\/114433.html\",\"url\":\"https:\/\/www.wsisp.com\/helps\/114433.html\",\"name\":\"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3\",\"isPartOf\":{\"@id\":\"https:\/\/www.wsisp.com\/helps\/#website\"},\"datePublished\":\"2026-10-09T00:26:54+00:00\",\"dateModified\":\"2026-10-09T00:26:54+00:00\",\"author\":{\"@id\":\"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/358e386c577a3ab51c4493330a20ad41\"},\"breadcrumb\":{\"@id\":\"https:\/\/www.wsisp.com\/helps\/114433.html#breadcrumb\"},\"inLanguage\":\"zh-Hans\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.wsisp.com\/helps\/114433.html\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.wsisp.com\/helps\/114433.html#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"\u9996\u9875\",\"item\":\"https:\/\/www.wsisp.com\/helps\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.wsisp.com\/helps\/#website\",\"url\":\"https:\/\/www.wsisp.com\/helps\/\",\"name\":\"\u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3\",\"description\":\"\u9999\u6e2f\u670d\u52a1\u5668_\u9999\u6e2f\u4e91\u670d\u52a1\u5668\u8d44\u8baf_\u670d\u52a1\u5668\u5e2e\u52a9\u6587\u6863_\u670d\u52a1\u5668\u6559\u7a0b\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.wsisp.com\/helps\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"zh-Hans\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/358e386c577a3ab51c4493330a20ad41\",\"name\":\"admin\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"zh-Hans\",\"@id\":\"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/gravatar.wp-china-yes.net\/avatar\/?s=96&d=mystery\",\"contentUrl\":\"https:\/\/gravatar.wp-china-yes.net\/avatar\/?s=96&d=mystery\",\"caption\":\"admin\"},\"sameAs\":[\"http:\/\/wp.wsisp.com\"],\"url\":\"https:\/\/www.wsisp.com\/helps\/author\/admin\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.wsisp.com\/helps\/114433.html","og_locale":"zh_CN","og_type":"article","og_title":"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3","og_description":"\u8fd9\u7bc7\u8bba\u6587\u4ecb\u7ecd\u4e86 UFO2，\u4e00\u4e2a\u9762\u5411 Windows \u684c\u9762\u7684 \u591a\u667a\u80fd\u4f53 AgentOS（\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf），\u65e8\u5728\u89e3\u51b3\u73b0\u6709\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406（CUA）\u5728\u771f\u5b9e\u684c\u9762\u81ea\u52a8\u5316\u4e2d\u9762\u4e34\u7684\u7cfb\u7edf\u7ea7\u74f6\u9888\u3002\u4ee5\u4e0b\u662f\u5bf9\u5176\u7814\u7a76\u5185\u5bb9\u7684\u5168\u9762\u603b\u7ed3\u3002 \u4e00\u3001\u7814\u7a76\u80cc\u666f\u4e0e\u6838\u5fc3\u95ee\u9898 1.1 \u73b0\u6709\u684c\u9762\u81ea\u52a8\u5316\u7684\u5c40\u9650 \u4f20\u7edf RPA（\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316）：\u4f9d\u8d56\u9884\u5b9a\u4e49\u811a\u672c\u548c\u8868\u9762 GUI \u7ebf\u7d22（\u50cf","og_url":"https:\/\/www.wsisp.com\/helps\/114433.html","og_site_name":"\u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3","article_published_time":"2026-10-09T00:26:54+00:00","og_image":[{"url":"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2026\/10\/20261009002647-6ac834c75fda4.png"}],"author":"admin","twitter_card":"summary_large_image","twitter_misc":{"\u4f5c\u8005":"admin","\u9884\u8ba1\u9605\u8bfb\u65f6\u95f4":"17 \u5206"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.wsisp.com\/helps\/114433.html","url":"https:\/\/www.wsisp.com\/helps\/114433.html","name":"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf - \u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3","isPartOf":{"@id":"https:\/\/www.wsisp.com\/helps\/#website"},"datePublished":"2026-10-09T00:26:54+00:00","dateModified":"2026-10-09T00:26:54+00:00","author":{"@id":"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/358e386c577a3ab51c4493330a20ad41"},"breadcrumb":{"@id":"https:\/\/www.wsisp.com\/helps\/114433.html#breadcrumb"},"inLanguage":"zh-Hans","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.wsisp.com\/helps\/114433.html"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.wsisp.com\/helps\/114433.html#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"\u9996\u9875","item":"https:\/\/www.wsisp.com\/helps"},{"@type":"ListItem","position":2,"name":"UFO\u00b2: The Desktop AgentOS\u2014\u2014\u684c\u9762\u4ee3\u7406\u64cd\u4f5c\u7cfb\u7edf"}]},{"@type":"WebSite","@id":"https:\/\/www.wsisp.com\/helps\/#website","url":"https:\/\/www.wsisp.com\/helps\/","name":"\u7f51\u7855\u4e92\u8054\u5e2e\u52a9\u4e2d\u5fc3","description":"\u9999\u6e2f\u670d\u52a1\u5668_\u9999\u6e2f\u4e91\u670d\u52a1\u5668\u8d44\u8baf_\u670d\u52a1\u5668\u5e2e\u52a9\u6587\u6863_\u670d\u52a1\u5668\u6559\u7a0b","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.wsisp.com\/helps\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"zh-Hans"},{"@type":"Person","@id":"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/358e386c577a3ab51c4493330a20ad41","name":"admin","image":{"@type":"ImageObject","inLanguage":"zh-Hans","@id":"https:\/\/www.wsisp.com\/helps\/#\/schema\/person\/image\/","url":"https:\/\/gravatar.wp-china-yes.net\/avatar\/?s=96&d=mystery","contentUrl":"https:\/\/gravatar.wp-china-yes.net\/avatar\/?s=96&d=mystery","caption":"admin"},"sameAs":["http:\/\/wp.wsisp.com"],"url":"https:\/\/www.wsisp.com\/helps\/author\/admin"}]}},"_links":{"self":[{"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/posts\/114433","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/comments?post=114433"}],"version-history":[{"count":0,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/posts\/114433\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/media\/114413"}],"wp:attachment":[{"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/media?parent=114433"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/categories?post=114433"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/tags?post=114433"},{"taxonomy":"topic","embeddable":true,"href":"https:\/\/www.wsisp.com\/helps\/wp-json\/wp\/v2\/topic?post=114433"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\u4f20\u7edf RPA（\u673a\u5668\u4eba\u6d41\u7a0b\u81ea\u52a8\u5316）：\u4f9d\u8d56\u9884\u5b9a\u4e49\u811a\u672c\u548c\u8868\u9762 GUI \u7ebf\u7d22（\u50cf\u7d20\u533a\u57df\u3001\u7a97\u53e3\u6807\u9898），\u5728\u52a8\u6001\u754c\u9762\u53d8\u5316\u4e0b\u6781\u5176\u8106\u5f31，\u7ef4\u62a4\u6210\u672c\u9ad8\u3002<\/p>\n<\/li>\n
\u73b0\u6709 CUA（\u8ba1\u7b97\u673a\u4f7f\u7528\u4ee3\u7406）：\u867d\u501f\u52a9\u591a\u6a21\u6001 LLM \u5b9e\u73b0\u4e86\u81ea\u9002\u5e94\u4ea4\u4e92，\u4f46\u4ecd\u505c\u7559\u5728\u6982\u5ff5\u539f\u578b\u9636\u6bb5，\u5b58\u5728\u4e09\u5927\u7cfb\u7edf\u7ea7\u7f3a\u9677：<\/p>\n
\u7f3a\u4e4f OS \u7ea7\u96c6\u6210：\u4ec5\u4f9d\u8d56\u622a\u56fe\u548c\u6a21\u62df\u9f20\u6807\u952e\u76d8，\u5ffd\u7565\u65e0\u969c\u788d API\u3001\u5e94\u7528\u8fdb\u7a0b\u72b6\u6001\u3001COM \u63a5\u53e3\u7b49\u7cfb\u7edf\u8d44\u6e90\u3002<\/p>\n<\/li>\n
\u7f3a\u4e4f\u5e94\u7528\u5185\u7701：\u5c06\u6240\u6709\u754c\u9762\u7edf\u4e00\u5bf9\u5f85，\u65e0\u6cd5\u5229\u7528\u5e94\u7528\u539f\u751f API \u548c\u9886\u57df\u77e5\u8bc6\u3002<\/p>\n<\/li>\n
\u7834\u574f\u6027\u6267\u884c\u6a21\u578b：\u76f4\u63a5\u5728\u7528\u6237\u684c\u9762\u52ab\u6301\u9f20\u6807\u952e\u76d8，\u5bfc\u81f4\u7528\u6237\u65e0\u6cd5\u540c\u65f6\u64cd\u4f5c，\u5b58\u5728\u5e72\u6270\u548c\u5b89\u5168\u98ce\u9669\u3002<\/p>\n<\/li>\n<\/li>\n<\/ul>\n
1.2 \u6838\u5fc3\u7814\u7a76\u95ee\u9898<\/h4>\n
\u5982\u4f55\u6784\u5efa\u4e00\u4e2a\u7a33\u5065\u3001\u6df1\u5ea6\u96c6\u6210\u7684\u684c\u9762\u81ea\u52a8\u5316\u7cfb\u7edf，\u80fd\u591f\u7075\u6d3b\u9002\u5e94\u4e0d\u65ad\u6f14\u8fdb\u7684\u754c\u9762，\u53ef\u9760\u5730\u7f16\u6392\u591a\u6837\u5316\u5e94\u7528，\u5e76\u6700\u5c0f\u5316\u5bf9\u7528\u6237\u5de5\u4f5c\u6d41\u7684\u5e72\u6270？<\/p>\n
\u4e8c\u3001UFO2 \u7684\u6838\u5fc3\u8bbe\u8ba1：\u4f5c\u4e3a\u7cfb\u7edf\u57fa\u5ea7\u7684 AgentOS<\/h3>\n
UFO2 \u5c06\u81ea\u52a8\u5316\u63d0\u5347\u4e3a \u4e00\u7b49\u64cd\u4f5c\u7cfb\u7edf\u62bd\u8c61，\u800c\u975e GUI \u4e4b\u4e0a\u7684\u4e34\u65f6\u5c42\u3002\u5176\u67b6\u6784\u7531\u4ee5\u4e0b\u6838\u5fc3\u7ec4\u4ef6\u6784\u6210：<\/p>\n
2.1 \u96c6\u4e2d\u5f0f\u591a\u667a\u80fd\u4f53\u67b6\u6784<\/h4>\n
| HostAgent<\/td>\n | \u4e2d\u592e\u63a7\u5236\u5e73\u9762，\u8d1f\u8d23\u89e3\u6790\u7528\u6237\u610f\u56fe\u3001\u5206\u89e3\u5b50\u4efb\u52a1\u3001\u7ba1\u7406\u5e94\u7528\u751f\u547d\u5468\u671f\u3001\u8c03\u5ea6\u4e0e\u534f\u8c03<\/td>\n<\/tr>\n | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AppAgent<\/td>\n | \u5e94\u7528\u4e13\u7528\u6267\u884c\u8fd0\u884c\u65f6，\u6bcf\u4e2a\u7ed1\u5b9a\u4e00\u4e2a Windows \u5e94\u7528（Excel\u3001Outlook\u3001Edge \u7b49），\u5c01\u88c5 API \u7ed1\u5b9a\u3001UI \u68c0\u6d4b\u5668\u548c\u77e5\u8bc6\u5e93<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
|