Bright Data 标志

将 Kiro 的智能体 IDE 与 Bright Data 的 Web MCP 服务器无缝连接。
把静态提示词转化为实时网页抓取、自动化数据处理与即时报告——无需手写抓取代码或繁琐的数据清洗!


功能特性 🚀

  • AI 驱动、规范导向的自动化:Kiro 将自然语言转为多步数据工作流。
  • 实时网页能力:Bright Data 的 Web MCP 提供实时搜索、抓取与数据结构化工具——自动应对 CAPTCHA 与反爬。
  • 无需胶水代码:抓取、解析、保存为 CSV,并生成 Python 分析流水线——100% 自动化。
  • 稳健自适应:支持批量与回退抓取,自动处理超时与反爬。
  • 即用型洞察:生成报告、图表与统计,直接用于业务/研究。

端到端示例:“Remote React Developer Jobs” 市场调研

在 Kiro 中的提示:

    Search for "remote React developer jobs" on Google,
    scrape the top 5 job listing websites, extract job titles, companies,
    salary ranges, and required skills.
    Create a CSV with this data and generate a Python script that analyzes
    average salaries and most common requirements.

Kiro 的步骤:

  • 使用 search_engine获取实时招聘网站链接。
  • 批量抓取(必要时回退为单站点抓取)。
  • 自动解析为 remote_react_jobs.csv
  • 生成 analyze_react_jobs.py—— 完整的分析脚本。
  • 产出 react_jobs_analysis_report.txt(摘要)与 react_jobs_analysis.png(可视化洞察)。

结果:
结构化、可直接分析的 React 远程职位实时劳动力市场数据,包括职位、雇主、薪资、地点、技能以及来源网站。


仓库内容 📦

| File                         | Purpose                                                      |
|------------------------------|--------------------------------------------------------------|
| remote_react_jobs.csv        | 实时抓取的职位列表(字段均已结构化)                         |
| analyze_react_jobs.py        | 自动化数据分析与报告生成脚本                                 |
| requirements.txt             | Python 依赖(pandas、numpy、matplotlib、seaborn)            |
| react_jobs_analysis_report.txt | 人类可读的摘要统计与技能趋势                              |
| react_jobs_analysis.png      | 薪资、技能、来源、职位类型等可视化图表                      |

工作原理

  1. Kiro 解释你的意图并规划工作流,借助 MCP 工具获取并处理实时数据。
  2. Bright Data 的 MCP 服务器提供:
    • search_engine:最新的 Google/Bing/Yandex 搜索结果页。
    • scrape_as_markdown:网页内容转为干净的 Markdown。
    • scrape_batch:批量且自适应的页面抓取。
    • web_data_amazon_product:结构化的亚马逊商品数据(适用于其他场景!)。
  3. 从单条提示触发自动抽取、数据清洗、CSV 保存以及 Python 分析脚本生成。

前置条件 🛠️

  • Node.js 18+(用于 Kiro + MCP)
  • Python 3.9+(用于数据分析)
  • Kiro IDE 访问权限:https://kiro.dev
  • Bright Data 账号:https://www.bright.cn

设置教程:Kiro + Bright Data MCP

  1. 安装并启动 Kiro

    • 前往 https://kiro.dev 申请访问并按照安装说明进行。
    • 启动 Kiro,完成引导向导。
  2. 创建 Bright Data 账号

    • 访问 https://www.bright.cn 并注册。
    • 在侧边栏进入 MCP 模块,选择自托管模式(Self-hosted)。
  3. 复制你的 MCP 服务器配置

    • 在 Bright Data 控制台复制配置块。
    • 如果粘贴到某些 UI 中,请仅粘贴 JSON(不要包含代码块围栏)。
      示例:
        {
          "mcpServers": {
            "Bright Data": {
              "command": "npx",
              "args": ["@brightdata/mcp"],
              "env": {
                "API_TOKEN": "<your_api_token_here>"
              }
            }
          }
        }
  1. 将 MCP 服务器添加至 Kiro

    • 在 Kiro 中打开任意文件夹/项目。
    • 侧边栏找到 Kiro 区域 > MCP SERVERS。
    • 移除“default”服务器,并粘贴你的配置(如上)。
    • 等待状态变为 Connected。
  2. 测试集成

    • 在 Kiro 中点击任一 MCP 工具(如 search_engine)。
    • 你应能在对话中看到实时结果或工具界面。

完整教程请访问博客 👉 Kiro x Web MCP


运行你的第一个自动化任务

示例提示:

    Search for "remote React developer jobs" on Google, scrape the top 5 job listing websites, extract job titles, companies, salary ranges, and required skills. Create a CSV file with this data and generate a Python script that analyzes average salaries and most common requirements.

Kiro 将会:

  • 调用各 MCP 工具以抓取并处理职位数据
  • 保存为 remote_react_jobs.csv
  • 生成用于分析的 analyze_react_jobs.py

本地运行分析:

    pip install -r requirements.txt
    python analyze_react_jobs.py

结果:
- react_jobs_analysis_report.txt(文本摘要)
- react_jobs_analysis.png(图表/可视化)

输出示例

remote_react_jobs.csv

    Job Title,Company,Salary Range,Location,Job Type,Required Skills,Source
    Backend Software Engineer - AI Trainer,DataAnnotation,$40+/hour,Remote,Contract,"JavaScript, TypeScript, Python, C, C#, C++, React, Go, Java, Kotlin, Swift",Indeed
    ...

react_jobs_analysis_report.txt

    ============================================================
    REMOTE REACT JOBS ANALYSIS REPORT
    ============================================================
    Total Jobs Analyzed: 72
    SALARY ANALYSIS
    --------------------
    Jobs with salary info: 52
    Average salary: $116,954
    ...

示例可视化


常见问题(FAQ)

问:如果 scrape_batch超时怎么办?

答:Kiro 会自动回退为逐个 URL 重试——数据不丢失,几乎无需手动干预。

问:这是否只适用于招聘数据?

答:不止如此。你可以用于定价、产品研究、竞品分析、内容聚合等任意提示场景——只需更改你的意图!

问:我可以添加更多 MCP 工具吗?

答:可以。Bright Data 的 MCP 可扩展以满足几乎所有公开网页数据需求。


下一步

  • 探索 Bright Data 的 AI/MCP 集成:https://docs.brightdata.com/integrations/ai-integrations
  • 试用预采集数据集:https://www.bright.cn/products/datasets
  • CrewAIn8nLangChainLlamaIndex 等集成,打造更多智能体应用
  • 有问题?联系 Bright Data 支持:https://www.bright.cn/contact

加速研究与自动化:让 Kiro 与 Bright Data MCP 替你完成搜索、抓取、结构化与报告!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐