云计算百科
云计算领域专业知识百科平台

不调 API,用 Playwright 接管已登录浏览器:三平台内容运营自动化的落地实录

不调 API,用 Playwright 接管已登录浏览器:三平台内容运营自动化的落地实录

做内容运营的人迟早会碰到同一个问题:每天要看好几个后台,数据还得自己抄到表格里。

我同时运营三个平台(头条号、微信公众号、CSDN),最初的做法是每天手动打开三个后台,把展现、阅读、粉丝一条条抄进 Excel,再凭感觉决定下一篇写什么。这个流程每天吃掉 40 分钟,而且抄到第三天就开始出错。

后来我把它整个脚本化了。这篇文章讲清楚三件事:为什么不用官方 API、怎么用 Playwright 接管一个已登录的浏览器、以及落地过程中踩的六个坑。代码是 Python,全部在本机跑,不依赖任何云服务。

三平台内容运营自动化的整体结构

整体是三层:采集、分析、发布;右边那条是调度,用系统计划任务而不是常驻进程。数据全部落在本地的 JSON / CSV 里,任何一个环节都能单独重跑。


一、为什么最后没用官方 API

先说结论:不是没试,是三条路都走不通。

第一条路:平台开放平台。 头条号有开放平台,但开放的能力集中在内容发布,数据粒度到不了"单篇作品的完读率、获利阅读"。公众号的数据接口需要认证服务号,个人号根本不给你。CSDN 干脆没有对外开放的数据接口。

第二条路:自建 cookie 池 + 直接请求。 这条路技术上可行,但成本在维护:cookie 有有效期、会被风控踢、部分接口还带设备指纹。我算过,维护这套东西的精力比手动抄数据还多。

第三条路:破解前端签名。 CSDN 的内部接口带 x-ca-key 一类签名头,签名算法在前端 JS 里,跟着版本变。破解一次能跑两周,然后失效,再破解。这是典型的负收益。

所以最后选了第四条:把浏览器当用户来用。人怎么操作,脚本就怎么操作;人看到什么,脚本就读什么。没有签名要破解,没有 cookie 要维护,登录态就是浏览器自己的登录态。

代价是慢(一次采集两三分钟)和脆(页面改版就失效)。但对"每天跑三次"的场景,这两点都能接受。


二、核心机制:接管浏览器,而不是启动浏览器

很多教程的做法是 playwright.chromium.launch(),每次开一个干净的浏览器,然后手动塞 cookie。这个做法的问题是:你永远在追着登录态跑。

我用的方式是 CDP(Chrome DevTools Protocol)接管一个已经在跑的、已经登录的浏览器:

from playwright.sync_api import sync_playwright

# 浏览器已经用 –remote-debugging-port=9222 启动,并且已经登录好三个平台
with sync_playwright() as pw:
browser = pw.chromium.connect_over_cdp("http://127.0.0.1:9222")
ctx = browser.contexts[0] # 复用已有的上下文,登录态就在里面
page = ctx.new_page()
page.goto("https://mp.toutiao.com/profile_v4/index")

启动参数长这样(Edge 和 Chrome 通用):

msedge.exe –remote-debugging-port=9222 ^
–user-data-dir="D:\\work\\browser_profile"

三个要点:

  • –user-data-dir 必须固定。登录态存在这个目录里,换目录等于换了个人。
  • 不要用默认的 user-data-dir。默认目录正在被你自己日常用的浏览器占用,加调试端口会冲突。
  • 首次要人工登录一次,扫码头条、公众号、CSDN 各扫一遍。之后就一直是登录态,直到某个平台主动把 session 踢掉(一般几周到几个月)。
  • 这一步做完,三个平台的数据采集就变成了"打开页面、读 DOM"这么简单的事。

    一个必须处理的小坑:浏览器会自己退出

    调试模式的浏览器有个行为:关掉最后一个标签页,整个浏览器进程就退出了。

    表现是:脚本跑完关掉自己开的页面,浏览器没了;下次跑脚本又得冷启动,两三秒,还要处理"端口没起来"的异常。

    解决办法很土但有效——退出前留一个空白页:

    @contextmanager
    def browser(url=None):
    ensure_browser(url) # 端口不通就用同一 profile 拉起来
    with sync_playwright() as pw:
    b = pw.chromium.connect_over_cdp("http://127.0.0.1:9222")
    ctx = b.contexts[0] if b.contexts else b.new_context()
    try:
    yield b, ctx
    finally:
    if not ctx.pages: # 一页都不剩就补一页,别让浏览器退出
    ctx.new_page()

    这个 contextmanager 后面所有脚本都在用,是整个项目最值钱的二十行。


    三、三个平台,三种抓法

    同样是"读数据",三个后台的结构差得很远,用同一套写法会处处碰壁。

    3.1 头条号:慢 SPA,别等固定时间

    头条的作品管理页是典型的 SPA,domcontentloaded 触发时列表还是空的。用 wait_for_selector(".genre-item") 也不稳——实测下来这个卡片出现要 5 到 15 秒,而且偶发不加载。

    最后改成轮询 + 刷新重试:

    def wait_cards(page, sel=".genre-item", tries=15, refresh=3):
    for r in range(refresh):
    for _ in range(tries):
    if page.locator(sel).count():
    return True
    page.wait_for_timeout(1000)
    page.reload(wait_until="domcontentloaded") # 刷一次再来
    return False

    比固定 wait_for_timeout(8000) 强的地方在于:快的时候 3 秒就往下走,慢的时候它真的会重试,而不是傻等 8 秒然后拿到空列表。

    评论数据走的是页面自己的内部接口,登录态下带着 pgc_id 请求就行:

    https://mp.toutiao.com/mp/agw/comment/article_comment_list
    ?item_id=<pgc_id>&group_id=<pgc_id>&count=20&app_id=1231

    pgc_id 从列表卡片的 a 标签 href 里正则提出来。这个接口不需要额外签名,是省事的一个。

    3.2 公众号:没有接口,只能解析页面

    公众号的留言管理页没有可用的数据接口,只能读 DOM。最大的麻烦是元素结构不稳定——按 class 抓,会把左侧导航项也当成留言抓进来。

    后来改成按文本形态匹配:留言卡片在页面上呈现的固定节奏是「标题 → 时间 → N 条」,用正则去切这一串文本,比依赖 class 稳得多。

    pattern = re.compile(r"([^\\n]{4,40})\\n(\\d{4}-\\d{2}-\\d{2}[^\\n]*)\\n(\\d+)\\s*条")

    代价是页面大改版会失效,但至少不会"抓到了但抓错"。

    3.3 CSDN:签名接口不要去解,去旁听

    CSDN 的数据接口在 bizapi.csdn.net 下,带签名头,前端每次请求现算。硬解不值得。

    我的做法是不主动请求,只在页面自己发请求时旁路抓响应:

    def on_response(resp):
    if "comment/list" in resp.url:
    try:
    data = resp.json()
    except Exception:
    return
    results.append(data)

    page.on("response", on_response)
    page.goto("https://blog.csdn.net/xxx/article/details/xxx")
    page.wait_for_timeout(4000)

    页面正常打开时自己会拉评论、拉阅读量,我只是把响应收下来。不碰签名、不伪造请求,风控视角看就是一次普通浏览。

    这个思路能推广到大部分"接口有签名但页面会自己调"的场景:不要去造请求,去等请求。


    四、定时:用系统计划任务,别写常驻进程

    最开始的写法是 while True: sleep(3600),问题是脚本一崩就再也不会跑,而且你看不到它崩了。

    改成 Windows 计划任务(schtasks)之后,好处是:脚本崩了下次照跑,任务失败有退出码可查,不占一个常驻进程。

    用 Python 生成任务比手点可靠:

    subprocess.run([
    "schtasks", "/Create", "/F",
    "/TN", "MyJob_metrics_am_1430",
    "/TR", r'"D:\\work\\_run\\metrics_am_1430.cmd"',
    "/ST", "14:30", "/SC", "DAILY",
    ])

    4.1 「错过就永久错过」的坑

    计划任务默认行为是:到点时机器关着,这次就跳过了,开机也不补。

    笔记本用户必然踩。解法是给任务打开 StartWhenAvailable,让系统在开机后补跑:

    xml = subprocess.run(
    ["schtasks", "/Query", "/TN", name, "/XML"],
    capture_output=True, text=True, encoding="utf-16"
    ).stdout

    new = re.sub(r"<StartWhenAvailable>.*?</StartWhenAvailable>",
    "<StartWhenAvailable>true</StartWhenAvailable>", xml)

    tmp.write_text(new, encoding="utf-16") # schtasks 只吃 UTF-16
    subprocess.run(["schtasks", "/Create", "/F", "/TN", name, "/XML", str(tmp)])

    注意 encoding="utf-16" 这两处——/XML 导出和导入都要求 UTF-16,用 UTF-8 会静默失败。

    4.2 再加一层「开机自查」

    StartWhenAvailable 覆盖不到"关机三天"这种情况:三天的任务会在开机瞬间一起补跑,然后再也不补。所以我另外加了一个登录时触发的任务,做状态自查而不是盲目补跑:

    # 今天该有的快照有没有?没有才补
    today_snaps = sorted(raw.glob(f"{now:%Y%m%d}_*.json"))
    if not today_snaps:
    run("collect_metrics.py", ["–platform", "all"])

    判据是"结果在不在",不是"时间到没到"。这个思路比补跑所有历史任务靠谱得多。


    五、六个真实的坑

    这一节是本文最想写的部分。上面所有设计都是被这些坑逼出来的。

    坑 1:批处理里写中文路径,任务静默失败

    我把启动器写成了这样:

    cd /d "D:\\工作\\内容运营\\自动化"
    "C:\\Python313\\python.exe" "D:\\工作\\内容运营\\自动化\\collect.py"

    在资源管理器里双击能跑,但放进计划任务就失败,而且失败得毫无提示——LastTaskResult 是 1,日志文件压根没生成。

    原因:.bat 文件我用 UTF-8 保存,而 cmd.exe 按系统代码页(简体中文是 GBK/936)逐行解码。中文路径变成乱码,cd 失败,后面调 python 那行根本没执行。

    修法是让文件里一个非 ASCII 字符都没有,路径交给 cmd 运行时展开:

    @echo off
    chcp 65001 >nul
    cd /d "%~dp0.."
    "%PY%" "%CD%\\collect.py" –platform all >> "%CD%\\logs\\job.log" 2>&1

    外加一道保险:生成启动器的代码里加一句断言,一旦内容不是纯 ASCII 就直接报错。

    content.encode("ascii") # 有人再塞中文路径,生成时就炸,不用等凌晨任务失败

    教训:规则只写在文档里,生成代码照样会违反它。要么写进断言,要么等于没有。

    坑 2:CRLF 写成了 CRCRLF

    同一批文件里还有个隐蔽问题:用 Path.write_text() 写 "\\r\\n",文本模式会再把 \\n 转一次,结果变成 \\r\\r\\n。多数情况下能跑,但某些解析器会多认一个空行,边界情况下就出问题。

    修法是显式关掉换行转换:

    f.write_text(content, encoding="ascii", newline="")

    坑 3:机器上装了三个 Python,只有一个能用

    开发机上同时存在:微软商店的占位版、PATH 里的基础解释器、还有项目虚拟环境的解释器。只有虚拟环境那个装了 playwright。

    用 python xxx.py 跑没问题(activate 过),但批处理里写的绝对路径可能指向基础解释器,直接 ModuleNotFoundError。

    最后的解法是按能力探测,不按顺序猜:

    :probe
    "%~1" -c "import playwright" >nul 2>&1
    if errorlevel 1 goto :eof
    set "PY=%~1"

    谁 import playwright 成功就用谁,不管它在哪。换了机器、换了用户名都不用改脚本。

    坑 4:浏览器关掉最后一个标签就退出

    前面说过,这里补一句:这个行为在 –headless 模式下不会出现,所以用 headless 调试一切正常、一改成有头就偶发失败的问题,八成是它。

    坑 5:抓到一堆两年前的评论

    做互动分析时,我兴冲冲抓了 20 条评论准备指导选题,结果一看时间——全是 2024 年的,来自一篇讲 eNSP 网络实验的老文章,跟当前内容毫无关系。

    原因:头条的评论接口按"最新"返回,但我把 item_id 传错了对象,抓到的是历史推荐位的内容。

    修法不是改接口,是加一道数据新鲜度检查:

    ages = [(now – parse(c["time"])).days for c in comments]
    if median(ages) > 90:
    warn("评论数据过旧,本次不给选题建议")

    宁可明确说"这批数据不能用",也不要拿错误数据给出一个看起来很专业的结论。

    坑 6:发布成功了,脚本以为失败,于是发了两遍

    这个是事故级的。流程是"填好文章 → 点定时发布 → 等页面跳转"。某次提交成功了,但页面停在预览层没跳走,脚本按超时判为失败。我重跑了一遍,于是同一篇文章有了两条定时任务。

    现在加了两道护栏:

  • 提交前查重:按标题前 16 个字去作品管理页比对,命中就拦下,要强发得显式加 –force。
  • 成功判据换成"外部事实":不看页面跳没跳,去看作品管理里有没有这条记录。
  • if title_exists_in_manage_page(title[:16]) and not force:
    raise SystemExit("已存在同名作品,疑似重复提交")

    教训:永远不要用"页面跳转了没有"判断操作成功。UI 是给眼睛看的,不是给脚本看的。


    六、跑起来之后是什么样

    这套东西现在有 27 个 Python 脚本、约 7200 行,承担这些事:

    环节频率做什么
    数据采集 每天 2 次(14:30 / 21:30) 三平台作品、展现、阅读、完读率、粉丝
    复盘 每天 22:05 生成日报、对比历史、推送到手机
    互动巡检 每天 22:15 三平台评论/留言,判断"读者在问什么"
    发布 指定时点 头条长文定时、微头条、公众号、CSDN
    巡检 每周日 环境自检、清理缓存、检查登录态

    效果上,最实在的两点是:

    • 数据不再断档。以前出去玩三天回来,三天的数据就是黑洞;现在开机自动补,缺了会提醒。
    • 判断有依据了。日报会直接说"点击率 12.5%,低于 3% 的及格线,标题不行",而不是留一堆数字让我自己看。

    代价也很清楚:

    • 机器得开着。关机期间的定时任务只能靠开机补跑,发布会漏(发布类任务我故意不补,错过窗口就该人工决定还发不发)。
    • 页面改版就会失效。所以每个采集脚本都有"数据是不是空的 / 是不是过期的"检查,失效时报警而不是静默给 0。
    • 登录态会掉。掉了要重新扫码,这是唯一必须人做的事。

    七、可以直接抄的骨架

    如果只想拿走最小可用的部分,就这三块:

    # 1. 接管浏览器(带保活)
    @contextmanager
    def browser(url=None):
    ensure_browser(url) # 端口不通则用同一 profile 启动
    with sync_playwright() as pw:
    b = pw.chromium.connect_over_cdp("http://127.0.0.1:9222")
    ctx = b.contexts[0] if b.contexts else b.new_context()
    try:
    yield b, ctx
    finally:
    if not ctx.pages:
    ctx.new_page()

    # 2. 等 SPA 加载(轮询 + 刷新,别固定 sleep)
    def wait_cards(page, sel, tries=15, refresh=3): ...

    # 3. 旁听接口(对付签名接口)
    def tap(page, keyword, sink):
    page.on("response", lambda r: sink.append(r.json())
    if keyword in r.url and r.ok else None)


    写在最后

    做这套东西最大的收获不是省了时间,而是把"我觉得读者喜欢这个"换成了"数据显示标题不行"。

    技术上有句话我想强调:不要把精力花在维护登录态、破解签名上,那是无底洞。浏览器已经把所有反爬逻辑都实现好了,你只需要把它当成一个用户在操作——点它该点的地方,读它该读的地方,剩下的交给它。

    真正难的不是抓数据,是抓完之后知道该干什么。这部分我还在摸索,有结论了再写。


    文中所有代码都来自本机实际运行的项目,不含任何第三方 SDK,纯 playwright + 标准库。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » 不调 API,用 Playwright 接管已登录浏览器:三平台内容运营自动化的落地实录
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!