网页抓取神器：Spring AI + JSoup 的 HTML 转 Document 实战

前言

你是不是曾经为网页内容抓取头疼不已？HTML 标签像迷宫一样绕来绕去，想提取关心的文本，却被 <div>、<span>、<script> 绊得晕头转向？别担心，JSoup 出场，它像一把万能钥匙，让你轻松打开 HTML 的秘密大门。你可以像玩乐高一样，把每个段落、标题、链接精准挑出，顺手把 HTML 转成 Spring AI 可用的 Document 对象，既干净又整齐。

想象一下，以前抓网页像在迷宫里摸索，每碰到嵌套标签就可能撞墙；现在有了 JsoupDocumentReader，你只需配置选择器和元数据规则，解析、提取、分组，加上自定义标签，整个过程就像给网页做手术，精准、可控、不留手术疤。更妙的是，它还能自动提取 meta 标签内容、标题，甚至把相对链接转成绝对链接，让你的数据完整性和可用性提升一个档次。

本文将带你深入探索 JsoupDocumentReader 的使用方法，展示如何用 CSS 选择器精确抓取文本，如何通过配置灵活控制输出结果，以及如何把 HTML 的各种信息转化为结构化数据。无论是知识库建设、文本分析，还是 AI 模型训练，掌握这个工具，你就拥有一双 HTML “透视眼”，网页内容再也躲不掉。

简介

JSoup 是 Java 世界里的 HTML 魔法棒，专门对付那些结构复杂、标签密密麻麻的网页。它不仅能解析 HTML，还能让你用 CSS 选择器像挑菜一样，精准锁定段落、标题、链接等关键信息，把网页拆解得干干净净、毫不费力。无论你面对的是简洁的静态页面，还是元素层层嵌套的怪兽级网页，它都能轻松应对。

在 Spring AI 生态中，JsoupDocumentReader 就像是 JSoup 的进化版助