无论是基于互联网信息构建动态更新的知识库，还是为金融、电商、舆情监测等领域提供实时、精准的数据支持，都会涉及到第三方网页数据RPA采集和解析的技术领域，随着LLM的发展成熟，该技术领域也面临智能化升级挑战。

传统的RPA采集工具主要适合比较简单的静态网页，但碰到动态加载数据、动态渲染的网页就很难处理，需要深入技术分析网页结构，编写脚本解析，技术门槛太高。

本文的目标是探索通过引入LLM，大幅降低RPA数据采集技术门槛，使非专业人员也能快速配置数据采集任务，可快速响应业务侧新增的网站采集需求，同时高效解析复杂动态网页结构，真正实现“所见即所采”。

"码上菩提"同学针对LLM在RPA网页数据采集场景中的应用，实践了几种智能化采集范式，并描述了案例探索过程，通过本文读者可以体验智能体AI Agent的实际应用，也可以深入了解智能化RPA采集机制。

三、基于LLM的三种实践范式

根据不同的需求和复杂度，我们探索实践了三种范式。

2、LLM+Playwright工具：灵活稳定范式

针对“LLM+Python代码”范式难以支撑复杂动态页面，以及代码生成不稳定等不足，进一步尝试通过大模型驱动爬虫工具的范式，让LLM 负责 “指令理解 - 参数生成”，中间引入 Playwright等工具来实现动态复杂网页的稳定爬取，然后再由LLM 负责 “内容解析 - 结果输出”。适用于大规模、多网站、高自适应需求的采集场景。该范式通过两次调用 LLM 各司其职，充分智能化，同时驱动爬虫工具实现标准化采集，以支撑复杂动态页面，同时提升稳定性。具体实现过程如下：

（1）LLM1：指令解析与参数生成：用户输入自然语言指令（如 “爬取某电商平台手机分类页的前 10 款商品，提取名称、价格、评分”），LLM1 基于指令生成 Playwright 可执行的参数（如目标 URL、等待元素（//div[@class=“phone-item”]）、翻页触发条件（滚动到底部）、采集数量限制（10 款）），并自动生成 Playwright 调用代码片段（无需开发者手动编写）；

（2）Playwright 动态爬取：根据 LLM1 生成的参数与代码，启动无头浏览器完成网页渲染、内容抓取，获取包含语义化标签的 HTML 结果（如

、

）；

（3）LLM2：内容解析与结果输出：将 Playwright 抓取的 HTML 与用户初始指令一同传入 LLM2，LLM2 依托 HTML 的标题描述标签（如 “phone-name” 明确指向商品名称），精准提取目标字段，并按指令要求输出结构化格式（如 Excel、JSON）。若解析结果存在缺失（如某商品无评分），LLM2 会自动标注 “无数据”，无需额外校验逻辑。

案例实践

以采集动态信息网页为例实践本范式，采集某网站行政许可相关数据，该页面动态加载，需要等页面列表信息加载完毕后，输入查询条件，点击查询按钮，然后解析查询结果数据，具体网页基本结构如下：

核心挑战包括：①数据完全由 JavaScript 动态加载，初始 HTML 中无结果信息，传统爬虫无法捕获；②需模拟浏览器等待页面渲染完成；③页面包含复杂交互（如需点击 “查询” 按钮才能显示目标数据）；④数据格式为 JSON 嵌套结构，传统解析规则难以处理字段关联。

采用本范式具体步骤如下：

1. 环境准备：部署 Playwright（启动无头 Chrome 浏览器），本地部署 Qwen-7B 模型（处理任务规划与数据解析）；
2. 第一层 LLM（任务规划）：构造 Prompt（“任务：采集某平台的‘XX 行政许可数据’，需完成：1）访问平台搜索页，等待页面列表数据加载完成；2）在搜索框中输入‘XX 公司’；3）点击‘查询’按钮；4）等待查询结果加载完成。请生成 Playwright 的 执行脚本，实现上述操作，需包含元素定位逻辑（若无法确定具体选择器，可使用模糊定位并添加等待时间）”），LLM 生成的 Playwright 脚本如下所示：

##1、调用playwright抓取网页内容
async def craw():
async with async_playwright() as p:
        browser = await p.chromium.launch(headless=False)
        page = await browser.new_page()
await page.goto('http://credit.xxxxxx.cn/list_sgs.shtml?id=e60bfe736ed94189bfcbf6b6f3d407e1',
                        wait_until="domcontentloaded", timeout=180000000)
await page.wait_for_selector(".contentDiv .title_txt", timeout=1500000)
        page.fill(".search_txt","jiangxixi");
        page.click(".search_btn");
# content = await page.content()
        content = await page.inner_html('#newsList', timeout=1500000)
# print(content)

3. Playwright 执行操作：运行生成的代码，启动浏览器访问目标平台，等待页面列表渲染（通过page.wait_for_selector()等待页面对应的标签加载），再完成搜索、点击等交互操作，等待结果数据渲染（添加等待时间），然后获取渲染后的完整 HTML；

4. 第二层 LLM（数据解析）：构造 Prompt（“请根据如下HTML内容，帮我提取行政相对人名称、行政许可决定书文号等信息，[采集到的 HTML]”），LLM生成的解析代码如下所示：

   ##2、大模型解析网页
   def parser(content):
       llm = ChatDeepSeek(
           model="deepseek-chat",
           temperature=0,
           max_tokens=None,
           timeout=None,
           max_retries=2,
           api_key="xxx",
       )
       prompt = f"请根据如下HTML内容，帮我提取行政相对人名称:{content}"
       messages = [
           ("system", "你是一个HTML网页解析高手，擅长根据用户问题解析网页相关的内容。"),
           ("human", prompt),
       ]
   for chunk in llm.stream(messages):
   print(chunk.text(), end="")
   
   

   5. 数据校验与存储：将 LLM 输出的 JSON 数据进行结构化校验和存储。

该范式优点

• 跨网站适配成本低：更换采集目标（如从电商手机页切换为家电页）时，仅需修改用户指令，LLM会自动生成新的 Playwright 参数，无需针对每个网站编写专属爬虫代码，适配效率提升 80% 以上；
• 全流程智能化，减少人工干预：从指令解析到代码生成，再到内容提取，全程由 LLM 驱动，开发者仅需审核最终结果，大幅降低维护成本；
• 动态场景覆盖全面：结合 Playwright 的 JS 渲染能力与双 LLM 的智能决策，可应对复杂交互场景（如需要登录的会员页面、需点击展开的详情数据）；
• 解析精准度高：LLM结合用户原始指令与 HTML 语义标签，可避免误提取（如区分 “手机价格” 与 “配件价格”），数据准确率比传统规则解析高 15%~20%。

该范式不足

• 依赖 LLM 指令理解能力：若用户指令模糊（如 “爬取热门商品” 未定义 “热门” 标准），LLM可能生成错误的 Playwright 参数（如采集推荐页而非销量榜），导致爬取方向偏离；
• 故障排查难度大：若采集失败（如未获取到数据），需同时排查 LLM参数生成逻辑、Playwright 执行过程、LLM 解析规则等各个环节，定位问题相对比较复杂。

3、Crawl4AI+LLM：简单高效范式

“LLM+Playwright”范式是由大模型驱动的，具体流程可以由用户自行指定，可以灵活适配复杂页面场景需要。

而本范式则是将 LLM 能力原生集成到面向大模型优化的爬虫框架中（如 Crawl4AI），其“网页爬取 - 数据预处理 - LLM 解析” 的核心逻辑和流程是由Crawl4AI框架统一封装好的，用户只需要遵循框架规范进行配置即可使用，适用于页面复杂度不是特别高、但可靠性要求高、追求快速落地的场景。具体实现步骤如下：

（1）框架配置与爬取触发：基于 Crawl4AI 等框架，通过简单配置（如目标 URL、爬取深度、过滤规则）发起采集任务。这类框架原生支持 JS 渲染、基础反爬（如动态 UA、请求间隔控制），无需额外集成无头浏览器，可直接获取包含完整语义标签的 HTML 结果（如电商商品页的

（2）爬取结果预处理：框架自动对 HTML 进行清洗（如去除冗余广告标签、补全残缺标签），输出符合标准 HTML 规范的内容。例如，Crawl4AI 会过滤

（3）LLM 内置解析：框架通过 API 或本地调用 LLM，将预处理后的 HTML 与用户采集指令（如 “提取商品名称、价格、库存”）一同传入。LLM 基于 HTML 的标题描述标签（如 “product-name” 明确指向商品名称），直接输出结构化数据（如 JSON），无需开发者在框架与 LLM 之间手动传递数据。

案例实践

和上面一个范式一样，还是以采集某网站行政许可相关数据为例，来展示具体配置和实现步骤：

1. 环境准备：安装好 crawl4ai框架，公网deepseek的api-key等；
2. 创建爬虫采集配置类，代码如下所示，其中wait_for和wait_for_timeout两个参数很关键，由于该网站是动态加载的，所以需要等到目标CSS渲染之后才能进行网页内容爬取：

crawler_config = CrawlerRunConfig(
    cache_mode=CacheMode.BYPASS,
    wait_until="domcontentloaded",  # wait until the DOM of the page has been loaded
    page_timeout=1800000000,
    wait_for=".contentDiv .tableList .title_txt",
    wait_for_timeout=150000000,
    css_selector="#newsList"

)

3. 定义大模型解析内容的策略类，这里选择公网的deepseek满血版模型，Crawl4AI最新版已经原生支持deepseek模型了，不需要自己自定义模型Provider扩展类。

llm_config = LLMConfig(provider="deepseek/deepseek-chat",api_token="请输入API-KEY")
strategy = LLMExtractionStrategy(
    llm_config=llm_config,
    instruction="请根据采集的网页内容，帮我提取行政相对人名称",

)

4、执行代码最终大模型返回的结果如下：

完整的案例代码如下：

import asyncio

from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMExtractionStrategy, LLMConfig
from crawl4ai.async_crawler_strategy import AsyncPlaywrightCrawlerStrategy
from dotenv import load_dotenv
load_dotenv()

asyncdefmain():
# Browser configuration
    browser_config = BrowserConfig(
        headless=True,
        browser_mode='dedicated',
        user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36',
    )
# Crawler configuration
    crawler_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS,
        wait_until="domcontentloaded",  # wait until the DOM of the page has been loaded
        page_timeout=1800000000,
        wait_for=".contentDiv .tableList .title_txt",
        wait_for_timeout=150000000,
        css_selector="#newsList"

    )
    cs = AsyncPlaywrightCrawlerStrategy(browser_config=browser_config)
    llm_config = LLMConfig(provider="deepseek/deepseek-chat",api_token="请输入API-KEY")
    strategy = LLMExtractionStrategy(
        llm_config=llm_config,
        instruction="请根据采集的网页内容，帮我提取行政相对人名称",

    )
# Run the AI-powered crawler
asyncwith AsyncWebCrawler(crawler_strategy=cs) as crawler:
        result = await crawler.arun(
            config=crawler_config,
            url="http://credit.xxxxxx.cn/list_sgs.shtml?id=4bb7bd0997804feeb2d4d1e7065bd026",
            extraction_strategy=strategy
        )
print(f"Parsed Markdown data:n{result.markdown}")

if __name__ == "__main__":
# asyncio.run(craw())
    asyncio.run(main())

该范式优点

• 单框架集成，降低适配成本：无需同时部署爬虫框架（如 Scrapy）与大模型应用开发框架（如 Dify），通过一套 AI 框架即可完成 “爬取 - 解析” 闭环，减少跨工具数据流转的损耗；
• 工程化能力更强：框架自带并发控制、失败重试、日志监控等功能；
• HTML 清洗提升解析效率：框架预处理后的 HTML 去除冗余信息，LLM 无需处理无关标签，解析速度提升 30%~50%，同时降低 “幻觉” 概率。

该范式不足

• 灵活性不足，适配特殊场景难：Crawl4AI框架内置的爬取逻辑（如标签过滤规则、反爬策略）固定，难以应对特殊网页结构（如自定义加密标签的页面），相比而言LLM + Playwright范式更灵活，特别复杂场景还可以手动调整playwright脚本；
• 功能扩展性有限：Crawl4AI框架通常仅支持 “爬取 - 解析” 基础流程，难以集成数据可视化、多源数据融合等个性化需求，需额外开发插件。

四、结论与展望

LLM的兴起为RPA网页数据采集领域带来了一场深刻的革命。它通过强大的语义理解和推理能力，将这项工作者从繁琐、脆弱、高维护成本的“工程”任务，转变为一个更智能、更鲁棒、更高层次的“认知”任务。

我们不再需要穷尽心力去分析每一棵DOM树的结构，而是可以直接告诉机器我们想要什么数据。从而使得数据采集由编码驱动转向了指令驱动，这也是目前业界基于LLM应用的通用范式。

但需要强调的是，LLM并非要完全取代传统RPA技术，相反，它是为传统工具赋予了“大脑”。未来的最佳实践必然是两者的结合：LLM负责解析人类的指令需求和意图，然后调用传统工具进行高效的数据下载和调度，再利用LLM进行复杂的内容解析、决策和异常处理。这种“工具”与“大脑”的协同，将使我们能够以更低的成本、更高的效率，从纷繁复杂的互联网世界中挖掘出更有价值的信息。

在以上初步实践基础上，还可以提升的方向包括：

自主智能体：未来的爬虫将是一个高度自主的AI智能体（Agentic Crawler），能够自行规划采集路径、识别并绕过反爬虫措施、处理异常情况，并能从失败中学习进化。

多模态融合：未来的LLM爬虫不仅能理解文本，还能解析图片、图表、视频中的信息，真正实现全模态数据采集。

工程化封装：无论前面验证的哪种方式，问题定位都是个难题，当出现数据采集失败时（如网页爬取不到、解析结果缺失），难以定位是 “采集工具问题”、“大模型问题” 还是 “提示词问题”，技术支持成本高，所以需要进行工程化封装，需要将采集和解析过程日志加以详细记录，并提供可视化结果展示和过程跟踪，方便问题定位和排查。

业务化封装：回到本文初衷，要降低传统RPA采集技术门槛，提升采集配置效率，无论使用以上哪种范式，都需要进行业务化封装，为了让业务人员能够配置使用，需要提供相应的业务化配置界面，用户只需要输入要采集的URL，以及要采集的中文要素信息即可。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】