Kiro + Bright Data MCP:智能体驱动的实时市场分析
将 Kiro 的智能体 IDE 与 Bright Data 的 Web MCP 服务器无缝连接。把静态提示词转化为实时网页抓取、自动化数据处理与即时报告——无需手写抓取代码或繁琐的数据清洗!
·
将 Kiro 的智能体 IDE 与 Bright Data 的 Web MCP 服务器无缝连接。
把静态提示词转化为实时网页抓取、自动化数据处理与即时报告——无需手写抓取代码或繁琐的数据清洗!
功能特性 🚀
- AI 驱动、规范导向的自动化:Kiro 将自然语言转为多步数据工作流。
- 实时网页能力:Bright Data 的 Web MCP 提供实时搜索、抓取与数据结构化工具——自动应对 CAPTCHA 与反爬。
- 无需胶水代码:抓取、解析、保存为 CSV,并生成 Python 分析流水线——100% 自动化。
- 稳健自适应:支持批量与回退抓取,自动处理超时与反爬。
- 即用型洞察:生成报告、图表与统计,直接用于业务/研究。
端到端示例:“Remote React Developer Jobs” 市场调研
在 Kiro 中的提示:
Search for "remote React developer jobs" on Google,
scrape the top 5 job listing websites, extract job titles, companies,
salary ranges, and required skills.
Create a CSV with this data and generate a Python script that analyzes
average salaries and most common requirements.
Kiro 的步骤:
- 使用
search_engine获取实时招聘网站链接。 - 批量抓取(必要时回退为单站点抓取)。
- 自动解析为
remote_react_jobs.csv。 - 生成
analyze_react_jobs.py—— 完整的分析脚本。 - 产出
react_jobs_analysis_report.txt(摘要)与react_jobs_analysis.png(可视化洞察)。
结果:
结构化、可直接分析的 React 远程职位实时劳动力市场数据,包括职位、雇主、薪资、地点、技能以及来源网站。
仓库内容 📦
| File | Purpose |
|------------------------------|--------------------------------------------------------------|
| remote_react_jobs.csv | 实时抓取的职位列表(字段均已结构化) |
| analyze_react_jobs.py | 自动化数据分析与报告生成脚本 |
| requirements.txt | Python 依赖(pandas、numpy、matplotlib、seaborn) |
| react_jobs_analysis_report.txt | 人类可读的摘要统计与技能趋势 |
| react_jobs_analysis.png | 薪资、技能、来源、职位类型等可视化图表 |
工作原理
- Kiro 解释你的意图并规划工作流,借助 MCP 工具获取并处理实时数据。
- Bright Data 的 MCP 服务器提供:
search_engine:最新的 Google/Bing/Yandex 搜索结果页。scrape_as_markdown:网页内容转为干净的 Markdown。scrape_batch:批量且自适应的页面抓取。web_data_amazon_product:结构化的亚马逊商品数据(适用于其他场景!)。
- 从单条提示触发自动抽取、数据清洗、CSV 保存以及 Python 分析脚本生成。
前置条件 🛠️
- Node.js 18+(用于 Kiro + MCP)
- Python 3.9+(用于数据分析)
- Kiro IDE 访问权限:https://kiro.dev
- Bright Data 账号:https://www.bright.cn
设置教程:Kiro + Bright Data MCP
-
安装并启动 Kiro
- 前往 https://kiro.dev 申请访问并按照安装说明进行。
- 启动 Kiro,完成引导向导。
-
创建 Bright Data 账号
- 访问 https://www.bright.cn 并注册。
- 在侧边栏进入 MCP 模块,选择自托管模式(Self-hosted)。
-
复制你的 MCP 服务器配置
- 在 Bright Data 控制台复制配置块。
- 如果粘贴到某些 UI 中,请仅粘贴 JSON(不要包含代码块围栏)。
示例:
{
"mcpServers": {
"Bright Data": {
"command": "npx",
"args": ["@brightdata/mcp"],
"env": {
"API_TOKEN": "<your_api_token_here>"
}
}
}
}
-
将 MCP 服务器添加至 Kiro
- 在 Kiro 中打开任意文件夹/项目。
- 侧边栏找到 Kiro 区域 > MCP SERVERS。
- 移除“default”服务器,并粘贴你的配置(如上)。
- 等待状态变为 Connected。
-
测试集成
- 在 Kiro 中点击任一 MCP 工具(如 search_engine)。
- 你应能在对话中看到实时结果或工具界面。
完整教程请访问博客 👉 Kiro x Web MCP
运行你的第一个自动化任务
示例提示:
Search for "remote React developer jobs" on Google, scrape the top 5 job listing websites, extract job titles, companies, salary ranges, and required skills. Create a CSV file with this data and generate a Python script that analyzes average salaries and most common requirements.
Kiro 将会:
- 调用各 MCP 工具以抓取并处理职位数据
- 保存为
remote_react_jobs.csv - 生成用于分析的
analyze_react_jobs.py
本地运行分析:
pip install -r requirements.txt
python analyze_react_jobs.py
结果:
- react_jobs_analysis_report.txt(文本摘要)
- react_jobs_analysis.png(图表/可视化)
输出示例
Job Title,Company,Salary Range,Location,Job Type,Required Skills,Source
Backend Software Engineer - AI Trainer,DataAnnotation,$40+/hour,Remote,Contract,"JavaScript, TypeScript, Python, C, C#, C++, React, Go, Java, Kotlin, Swift",Indeed
...
react_jobs_analysis_report.txt
============================================================
REMOTE REACT JOBS ANALYSIS REPORT
============================================================
Total Jobs Analyzed: 72
SALARY ANALYSIS
--------------------
Jobs with salary info: 52
Average salary: $116,954
...
示例可视化
常见问题(FAQ)
问:如果 scrape_batch超时怎么办?
答:Kiro 会自动回退为逐个 URL 重试——数据不丢失,几乎无需手动干预。
问:这是否只适用于招聘数据?
答:不止如此。你可以用于定价、产品研究、竞品分析、内容聚合等任意提示场景——只需更改你的意图!
问:我可以添加更多 MCP 工具吗?
答:可以。Bright Data 的 MCP 可扩展以满足几乎所有公开网页数据需求。
下一步
- 探索 Bright Data 的 AI/MCP 集成:https://docs.brightdata.com/integrations/ai-integrations
- 试用预采集数据集:https://www.bright.cn/products/datasets
- 与 CrewAI、n8n、LangChain、LlamaIndex 等集成,打造更多智能体应用。
- 有问题?联系 Bright Data 支持:https://www.bright.cn/contact
加速研究与自动化:让 Kiro 与 Bright Data MCP 替你完成搜索、抓取、结构化与报告!
更多推荐

所有评论(0)