本地文档智能审查与摘要 Agent 实验完成记录
一、实验目标
本实验的核心不是"写一个词云脚本",而是体验 Vibe Coding 工作流:先用结构化 Prompt 明确需求边界,再让 AI 辅助生成代码框架,最后结合本地环境微调验证。具体目标包括:
掌握 Python 批量文件读取与文本预处理;
熟练使用 jieba 进行中文分词、停用词过滤与自定义词典加载;
掌握 wordcloud 参数配置,生成有业务意义的词云;
学习用结构化 Prompt 引导 AI 完成代码架构设计与实现。
二、环境准备
语言:Python 3.8+
依赖库:jieba(分词)、wordcloud(词云)、matplotlib(展示)、numpy 与 pillow(背景蒙版处理)
pip install jieba wordcloud matplotlib numpy pillow
三、需求边界定义(Vibe Coding 准备)
在动手写代码前,先把输入、处理、输出、约束四件事说清楚——这是让 AI 生成高质量代码的前提。

四、结构化 Prompt 模板
将上述需求转化为结构化 Prompt 发给 AI 编程助手,模板如下:
需求背景:我需要开发一个本地文档分析工具,用于批量处理文件夹中的文本文件,
提取高频词并生成词云。
明确约束:
1. 使用 os 或 pathlib 遍历指定目录下的所有 .txt 文件。
2. 使用 jieba 分词,支持加载自定义词典 user_dict.txt 和停用词表 stopwords.txt。
3. 使用 wordcloud 生成词云,指定中文字体路径 font_path='msyh.ttc',
背景色白色,尺寸 1000x800。
4. 代码需包含详细注释,并处理可能的文件读取异常。
输出要求:请提供完整的 Python 代码,并简要说明如何配置停用词表和自定义词典。
五、核心代码实现
根据 AI 生成的框架,结合本地环境微调后的核心逻辑(已修正原稿中的拼写问题,如 load_userdict、stopwords_file、to_file 等):
import os
import jieba
from collections import Counter
from wordcloud import WordCloud
import matplotlib.pyplot as plt
def analyze_documents(folder_path, font_path, stopwords_file=None, user_dict=None):
# 1. 加载自定义词典与停用词
if user_dict and os.path.exists(user_dict):
jieba.load_userdict(user_dict)
stopwords = set()
if stopwords_file and os.path.exists(stopwords_file):
with open(stopwords_file, 'r', encoding='utf-8') as f:
stopwords = set([line.strip() for line in f])
else:
# 默认基础停用词
stopwords = {"的", "了", "和", "在", "是", "我", "你", "他",
"我们", "他们", "为", "以", "等", "并", "对", "与"}
all_words = []
# 2. 批量读取文件并分词
for filename in os.listdir(folder_path):
if filename.endswith(".txt"):
file_path = os.path.join(folder_path, filename)
try:
with open(file_path, 'r', encoding='utf-8') as f:
text = f.read()
words = jieba.lcut(text) # 精确模式分词
# 过滤停用词和单字符
filtered_words = [w for w in words if len(w) > 1 and w not in stopwords]
all_words.extend(filtered_words)
print(f"成功处理文件: {filename}")
except Exception as e:
print(f"处理文件 {filename} 时发生错误: {e}")
if not all_words:
print("未提取到有效词汇,请检查文件路径或内容。")
return
# 3. 统计词频
word_counts = Counter(all_words)
top_50_words = word_counts.most_common(50)
print(f"Top 50 高频词: {top_50_words}")
# 4. 生成词云
wordcloud = WordCloud(
font_path=font_path,
width=1000,
height=800,
background_color='white',
max_words=50,
collocations=False, # 避免词语重复组合
)
wordcloud.generate_from_frequencies(dict(top_50_words))
# 5. 展示并保存
plt.figure(figsize=(10, 8))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.title("本地文档高频词云分析")
plt.show()
output_image = "document_wordcloud.png"
wordcloud.to_file(output_image)
print(f"词云已保存至: {output_image}")
# 使用示例(请根据实际环境修改路径)
# analyze_documents(folder_path="./docs", font_path="msyh.ttc",
# stopwords_file="stopwords.txt", user_dict="user_dict.txt")
六、进阶探索:Agent 化改造
基础功能跑通后,可从三个方向向真正的智能体演进:
引入蒙特卡洛方法:针对文档中的不确定性指标,编写蒙特卡洛模拟脚本做随机抽样与概率分布预测,将统计结果作为补充上下文。
对接大模型 API:把 Top 50 关键词、词频数据及清洗后的核心文本片段作为 Prompt 发送给大模型,让 AI 自动生成结构化审查意见或摘要报告。
构建自动化工作流:用 watchdog 监控指定文件夹,新文档放入即自动触发分析流程,实现无人值守的智能审查 Agent。
七、踩坑与注意事项
字体问题:wordcloud 默认不支持中文,必须通过 font_path 指定本地中文字体(Windows 下 msyh.ttc/simhei.ttf,macOS 下 Arial Unicode.ttf),否则词云全是方框。
停用词与自定义词典:两者均为纯文本、每行一个词,务必使用 UTF-8 编码保存。处理特定领域(科技趋势、学术文献)文档时,加载自定义词典能显著提升分词准确率。
Vibe Coding 节奏:分模块对话、逐步验证,比一次性抛出庞大需求更高效。
八、实验小结
这次实验最有价值的收获,不是词云本身,而是"先定义边界、再让 AI 生成、最后本地验证"的工作流。需求说得越清楚,AI 产出的代码越接近可用;分模块推进,调试成本也越低。下一步计划对接大模型 API,把词频数据转化为真正的结构化审查报告,让这个工具从"可视化脚本"走向"审查 Agent"。
更多推荐


所有评论(0)