AI编程神器！DeepAnalyze大模型一键搞定数据科学全流程，小白也能秒变数据分析师！

DeepAnalyze是业界首个能自主完成数据科学任务的智能体大语言模型，支持全流程自动化处理，包括数据准备、分析、建模、可视化和报告生成。它可处理多种数据源（结构化、半结构化、非结构化数据），完全开源并提供API接口。开发者可快速部署或基于其框架扩展自己的数据分析助手，适用于从编程小白到专业数据分析师的各类用户。

安卓老猴子

755人浏览 · 2025-12-18 10:54:48

安卓老猴子 · 2025-12-18 10:54:48 发布

一、项目简介

DeepAnalyze 是业界首个能自主完成数据科学任务的智能体大语言模型。它能在无需人工干预的情况下，自动完成各类数据密集型任务，核心能力包括：

全流程数据科学管道 - 自动执行数据准备、分析、建模、可视化和报告生成等任何数据科学任务
开放式数据研究 - 对多种数据源进行深度研究，支持结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）和非结构化数据（TXT、Markdown），最终生成分析师级别的研究报告
完全开源 - 模型[1]、代码[2]、训练数据[3]和演示[4]全部开源，你可以部署或扩展自己的数据分析助手

二、快速开始

环境要求

安装依赖包：torch==2.6.0, transformers==4.53.2, `vllm==0.8.5````plaintext
conda create -n deepanalyze python=3.12 -yconda activate deepanalyzepip install -r requirements.txt# 训练用(cd ./deepanalyze/ms-swift/ && pip install -e .)(cd ./deepanalyze/SkyRL/ && pip install -e .)

命令行交互

通过 vllm 部署 DeepAnalyze-8B：vllm serve DeepAnalyze-8B

运行以下脚本执行任何数据科学任务：

from deepanalyze import DeepAnalyzeVLLMprompt = """# 指令生成一份数据科学报告。# 数据文件 1: {"name": "bool.xlsx", "size": "4.8KB"}文件 2: {"name": "person.csv", "size": "10.6KB"}文件 3: {"name": "disabled.xlsx", "size": "5.6KB"}文件 4: {"name": "enlist.csv", "size": "6.7KB"}文件 5: {"name": "filed_for_bankrupcy.csv", "size": "1.0KB"}文件 6: {"name": "longest_absense_from_school.xlsx", "size": "16.0KB"}文件 7: {"name": "male.xlsx", "size": "8.8KB"}文件 8: {"name": "no_payment_due.xlsx", "size": "15.6KB"}文件 9: {"name": "unemployed.xlsx", "size": "5.6KB"}文件 10: {"name": "enrolled.csv", "size": "20.4KB"}"""workspace = "/home/u2023000922/zhangshaolei/deepanalyze_public/DeepAnalyze/example/analysis_on_student_loan/"deepanalyze = DeepAnalyzeVLLM(    "/fs/fast/u2023000922/zhangshaolei/checkpoints/deepanalyze-8b/")answer = deepanalyze.generate(prompt, workspace=workspace)print(answer["reasoning"])

你会得到一份深度研究报告，可以渲染为 PDF：

# 学生入学模式与院校转学的综合分析## 研究背景与引言学生入学模式分析是教育研究的关键领域，对院校规划、资源配置和学生支持服务具有重要意义。本综合研究考察了一个涵盖六所教育机构 1,194 条入学记录的完整数据集，并结合了人口统计、财务和就业状况等补充数据。研究采用先进的分析技术，包括网络分析、预测建模和时间模式识别，揭示了宏观层面的院校趋势和微观层面的学生流动模式。该数据集的纵向特性跨越十五个月的入学记录，为高等教育系统中学生路径的复杂动态提供了独特见解。我们的方法论结合了入学时长、转学概率和财务指标的定量分析，以及定性...本研究通过提供院校转学网络及其与学生成果关系的实证证据，为日益增长的学生流动性研究文献做出了贡献........

更多示例和任务完成细节，请参考 DeepAnalyze 官网[5]。

可以指定任何数据科学任务，包括具体的数据任务和开放式数据研究
可以指定任意数量的数据源，DeepAnalyze 会自动探索它们
可以指定任何类型的数据源，如结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）和非结构化数据（TXT、Markdown）

API 接口

可以构建 OpenAI 风格的 API，使用以下脚本（注意在 demo/backend.py[6] 中将 MODEL_PATH = "DeepAnalyze-8B" 改为你的 vllm 模型名称）：
```
python demo/backend.py
```

API 使用方式（流式响应）：

curl -X POST http://localhost:8200/chat/completions \     -H "Content-Type: application/json" \     -d '{           "messages": [             {               "role": "user",               "content": "生成一份数据科学报告。"             }           ],           "workspace": "example/student_loan/"         }'

三、开发你自己的 DeepAnalyze

1. 下载模型和训练数据

下载 DeepSeek-R1-0528-Qwen3-8B[7]。或者可以直接基于 DeepAnalyze-8B[8] 微调。

如果使用 DeepSeek-R1-0528-Qwen3-8B 作为基础模型，需要添加特殊 token：

MODEL_PATH=path_to_DeepSeek-R1-0528-Qwen3-8BSAVE_PATH=path_to_save_DeepSeek-R1-0528-Qwen3-8B-addvocabpython deepanalyze/add_vocab.py \  --model_path "$MODEL_PATH" \  --save_path "$SAVE_PATH" \  --add_tags

下载训练数据 DataScience-Instruct-500K[9]

解压 DataScience-Instruct-500K/RL/data.zip

2. 基于课程的智能体训练

单能力微调：./scripts/single.sh[10]
多能力智能体训练（冷启动）：./scripts/multi_coldstart.sh[11]
多能力智能体训练（强化学习）：./scripts/multi_rl.sh[12]

3. 评估

我们使用 vLLM 统一了大多数现有数据科学基准的评估（持续增加中…）。你可以直接按照 ./playground[13] 中的介绍快速评估 DeepAnalyze 或你自己的智能体。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述