在现代企业运维领域，故障根因分析不仅至关重要，而且难度颇高。尽管单一智能体（Agent）技术为故障根因分析提供了一种有效的解决途径，但在应对复杂的运维故障时，仍存在局限性。本文旨在探索基于大型语言模型（LLM）的多智能体（Multi-Agents）技术在运维故障根因分析中的应用潜力，以期为企业带来更精确、更高效的运维故障诊断解决方案。

基于LLM的多智能体运维故障根因分析

亚信科技（中国）有限公司

一、单运维智能体的局限

目前，Agent技术已成为运维故障根因分析的有效解决方案。这种技术是基于目标导向的软件工程架构，运维人员只需明确目标，Agent便能自主探索实现目标的路径。尽管基于LLM的单Agent技术在运维故障分析上已展现出其价值，但在实际工作中，面对多维度、多层次的故障诊断，其仍有局限性。

图1：基于LLM的单运维Agent架构

• 单Agent聚焦专一领域，综合分析不足：单Agent聚焦单一运维领域故障诊断，在处理跨系统或跨领域的复杂故障时，往往面临能力限制。这种局限性主要源于它们在角色、知识和可用工具方面的设置以及自主规划能力的不足。例如，专注于网络监控的Agent可能难以诊断那些同时涉及数据库和应用服务器的复合型故障。

• 单Agent能力过载，影响分析准确率：即便赋予单个Agent多项运维故障诊断的能力，以应对复杂的运维故障诊断任务，但大型语言模型在解析长文本时的复杂性和长程逻辑的不稳定性，使得Agent在路由对应诊断能力和多轮交互中精确捕捉故障的微妙线索变得具有挑战性，这可能导致故障根因定位不够准确。例如，在一个繁琐的服务调用链中，如果一个Agent无法正确追踪跨服务的请求，就可能错过关键的故障线索。

• Agent间协作需人工，影响分析效率：在复杂运维故障根因分析时，由于缺乏统一的协作框架，运维人员必须与每个独立Agent进行多轮沟通，以确定可能的故障原因。例如，如果存在一个专门监控硬件的Agent和一个专注于软件监控的Agent，运维人员就需要分别与它们沟通，了解它们是否检测到异常，并评估这些异常与当前故障的关联性。这种分散的交互模式使故障诊断过程变得繁琐且耗时。

综上所述，基于LLM的单Agent技术在分析复杂故障根因中所展现的局限性，凸显了我们向更智能、更协同的故障诊断体系转变的迫切需求。这种转变将提升故障分析的深度与广度，确保我们能更有效地应对运维的复杂性。

‍‍‍

二、多运维智能的优势

基于LLM多智能体（Multi-Agents）系统的目标是：确保多个Agent能够高效地协同工作，共同完成那些超出任何一个单一Agent能力范畴的复杂任务。与单一Agent侧重于使用工具的能力不同，Multi-Agents更像是一个由不同专业角色组成的团队，每个Agent扮演着特定的工种，通过分工合作来提升整体的效能。这种协作方式能够快速响应故障，增强系统的安全性和稳定性。例如，当企业的支付处理系统出现延迟，Multi-Agents中的应用Agent识别出服务响应时间异常，安全Agent检测到潜在的SQL注入攻击，而数据Agent发现数据库查询效率低下。这些智能体协作，共享数据并综合分析，迅速定位到根本原因——一个恶意的外部攻击导致数据库索引失效。

图2：基于LLM的多运维Agent架构

尽管运用Multi-Agents进行故障根因分析时，多次调用同一个大型语言模型，这种做法初看似乎有些违反直觉，实际上，存在几个充分的理由来支持这种做法：

• 将复杂的任务进行分解。Multi-Agents设计模式为复杂任务的分解提供了一个高效的框架，它允许我们将运维故障根因分析这一复杂任务拆解为更小、更易于管理和解决的子任务。通过这种方式，不仅确保每个Agent可以专注于其擅长的特定领域，实现整个系统的高效运行和快速响应。而且子任务通常不会导致过长的上下文，从而保持了处理的高效性和准确性。

• 提供多智能体间协同机制。通过建立协同机制，我们能够实现任务的有效分配、信息的共享与交流，以及人类参与和影响的有机融合。这种机制确保了每个Agent都能承担与其专业能力相匹配的子任务，同时能够互相共享和交换信息，并接受人类的反馈与指导。

• 这种方法确实有效。目前，许多团队已经实验这种方法并取得了显著成效。例如，在D-Bot：基于大型语言模型的数据库诊断系统论文中，分析结果表明， D-Bot（基于GPT-4的Multi-Agents）在识别根本原因方面的成功率达到了77.27%，显著高于单Agent39.09%，同时在效率上也更为出色。

三、多运维智能体的关键能力

多智能体（Multi-Agents）协作框架的核心是如何实现智能体之间的协作和竞争的平衡，即如何使每个Agent都能达到自己的目标，同时也能促进整个系统的性能和效益。为了实现这一目标，Multi-Agents协作框架需要具备以下关键能力：

• 任务的分解与分配：利用基于LLM的自定义Planner进行任务分解，并通过Verifier验证这些分解后的任务是否符合根因分析的目标，可以确保任务分解的有效性和准确性。在任务分配方面，可以采用多种策略来实现Agent之间的任务分配。例如，AutoGen多智能体框架groupchat的speaker_selection_method方法提供了auto、manual、random、round_robin等多种选择Agent的方式。

• 信息的共享和交换：Agent之间的通信是支持集体智能的关键基础设施。每个Agent都能共享和交换自己的信息。从三个角度剖析Multi-Agents通信：

1. 通信范式：Agent之间交互的风格和方法，包括：合作、辩论和竞争。其中，合作模式实现一个或多个共同的目标，通常会挖掘信息以增强集体解决方案；

2.通信结构：Multi-Agents中通信网络的组织和架构，包括：Layered、Decentraized、Centralized、Shared Messae Pool，其中，Shared Messae Pool是由MetaGPT提出，为了进一步提高通讯效率，MetaGPT还是引入了Publish-Subscribe机制，确保Agent可以直接从其他Agent和共享池中获得自己需要的信息；

3. 通信内容：通信内容通常以文本形式呈现。具体内容差异很大，取决于特定的应用。例如，在软件开发中，Agent可能会就代码段相互通信。

图3：多Agent通信模式‍‍

• 学习的方式和方法：在单Agent研究中，通过利用记忆和反思总结的方式实现Agent的自我进化。我们可以探索将这种学习机制扩展到Multi-Agents中，以此来挖掘Agent网络潜在的集体智能。通过这种方式，我们可以增强Agent之间的交互，激发协同效应，从而提升整个系统的智能性和效率。

• 人类的参与和影响：使每个Agent都能与人类进行有效的参与和影响，如通过Human-in-the-loop等方式，接受人类的反馈和指导，提供人类的建议和帮助，遵守人类的伦理和法律，如通过规则、约束、监督等方式，使智能体能够根据人类的价值和标准，避免不合理和不道德的行为，提高系统的公平性和透明性。

四、多运维智能体故障根因分析应用

以“用户缴费后无法开机”场景为例，创建多智能运维故障根因分析opsAgent。采用Centralized模式（即以一个Supervisor节点为中心，管理所有其他单运维Agent节点，并由Supervisor统一与用户交互），实现单运维Agent间的信息共享与交换，基于Qwen2-72B大模型自主分解任务并智能选择下一个Agent来处理，以提高故障诊断的效率和准确性。

Step1：准备单运维智能体。构建两个单运维智能SaaSAgent和AntDBAgent。SaaSAgent负责服务故障诊断；AntDBAgent负责数据库故障诊断。

Step2：创建并编排多智能体。创建名为opsAgent的多智能体，引用SaaSAgent和AntDBAgent由Supervisor统一协调。根据实际运维需求，我们可以为opsAgent添加更多具有特定功能的Agent。为了提高运行时选择Agent的准确性，建议根据租户、应用系统等因素合理划分每个Multi-Agents的应用范围。

Step3：Supervisor提示词。提示词如下：“你是负责管理以下Agent之间对话的主管：{SaaSAgent,AntDBAgent}。根据以下用户请求，回答下一个Agent应该采取的行动。每个Agent将执行一项任务，并报告他们的结果和状态。完成后，回复FINISH”。

Step4：查看实际运行效果。当用户输入“用户缴费后无法开机”问题后，Supervisor匹配到了SaaSAgent，由其进行诊断后给出了反馈；Supervisor基于用户问题和SaaSAgent的反馈，安排AntDBAgent进行检查；AntDBAgent排查并修复完毕后，反馈给Supervisor；Supervisor安排SaaSAgent进行了最终确认，系统恢复正常。

图4：opsAgent运维故障根因分析效果展示

整个故障排查和修复过程完全由opsAgent自主协同完成，运维人员只需输入发现的问题。这种方法极大地简化了故障诊断的复杂性，并显著提高了故障排查与修复的效率。另外，适当增加opsAgent中Agent的数量，系统将能够处理更加复杂的故障问题，从而进一步提升运维效率和效果。

五、多运维智能体的挑战

Multi-Agents在处理复杂的故障根因分析方面具有明显优势，能够显著提升运维故障根因分析的效率。然而，目前这一技术也面临着一些技术和实施上的挑战：

• 算力消耗问题：在Multi-Agents系统中，随着Agent数量的增加，对计算资源的需求也随之增加。在资源有限的情况下，开发这些系统确实面临挑战。一种解决方案是采用量化模型来降低算力消耗，但这可能会对LLM的性能产生一定影响，需要根据实际效果进行权衡。

• 大模型幻觉问题：在Multi-Agents环境中，一个Agent的误判可能会引发连锁反应，影响整个系统的准确性。这不仅需要在单个智能体层面上纠正错误，还需要有效管理Agent之间的信息流动，防止错误信息在系统中扩散。一种有效的方法是使用经过微调的专属运维大模型，以降低幻觉问题的发生。

• 激发集体智能：目前，一些自我学习方法在单Agent上已经证明是有效的。我们可以探索将这些方法并将其引入到多智能体学习中，以充分利用Agent网络潜在的集体智能，增强多智能体之间的协同作用，进一步提升系统的整体性能。

总之，尽管Multi-Agents在智能运维领域具有巨大潜力，但要充分发挥其优势，还需要克服上述技术和实施上的挑战。通过不断的技术创新和优化，我们有望实现更高效、更可靠的智能运维解决方案。

这两年，IT行业面临经济周期波动与AI产业结构调整的双重压力，确实有很多运维与网络工程师因企业缩编或技术迭代而暂时失业。

很多人都在提运维网工失业后就只能去跑滴滴送外卖了，但我想分享的是，对于运维人员来说，即便失业以后仍然有很多副业可以尝试。

运维副业方向

运维，千万不要再错过这些副业机会！

第一个是知识付费类副业：输出经验打造个人IP

在线教育平台讲师

操作路径：在慕课网、极客时间等平台开设《CCNA实战》《Linux运维从入门到精通》等课程，或与培训机构合作录制专题课。
收益模式：课程销售分成、企业内训。

技术博客与公众号运营

操作路径：撰写网络协议解析、故障排查案例、设备评测等深度文章，通过公众号广告、付费专栏及企业合作变现。
收益关键：每周更新2-3篇原创，结合SEO优化与社群运营。

第二个是技术类副业：深耕专业领域变现

企业网络设备配置与优化服务

操作路径：为中小型企业提供路由器、交换机、防火墙等设备的配置调试、性能优化及故障排查服务。可通过本地IT服务公司合作或自建线上接单平台获客。
收益模式：按项目收费或签订年度维护合同。

远程IT基础设施代维

操作路径：通过承接服务器监控、日志分析、备份恢复等远程代维任务。适合熟悉Zabbix、ELK等技术栈的工程师。
收益模式：按工时计费或包月服务。

网络安全顾问与渗透测试

操作路径：利用OWASP Top 10漏洞分析、Nmap/BurpSuite等工具，为企业提供漏洞扫描、渗透测试及安全加固方案。需考取CISP等认证提升资质。
收益模式：单次渗透测试报告收费；长期安全顾问年费。

比如不久前跟我一起聊天的一个粉丝，他自己之前是大四实习的时候做的运维，发现运维7*24小时待命受不了，就准备转网安，学了差不多2个月，然后开始挖漏洞，光是补天的漏洞奖励也有个四五千，他说自己每个月的房租和饭钱就够了。

为什么我会推荐你网安是运维人员的绝佳副业&转型方向?

1.你的经验是巨大优势: 你比任何人都懂系统、网络和架构。漏洞挖掘、内网渗透、应急响应，这些核心安全能力本质上是“攻击视角下的运维”。你的运维背景不是从零开始，而是降维打击。

2.越老越吃香，规避年龄危机: 安全行业极度依赖经验。你的排查思路、风险意识和对复杂系统的理解能力，会随着项目积累而愈发珍贵，真正做到“姜还是老的辣”。

3.职业选择极其灵活: 你可以加入企业成为安全专家，可以兼职“挖洞“获取丰厚奖金，甚至可以成为自由顾问。这种多样性为你提供了前所未有的抗风险能力。

4.市场需求爆发，前景广阔: 在国家级政策的推动下，从一线城市到二三线地区，安全人才缺口正在急剧扩大。现在布局，正是抢占未来先机的黄金时刻。

运维转行学习路线

（一）第一阶段：网络安全筑基

1. 阶段目标

你已经有运维经验了，所以操作系统、网络协议这些你不是零基础。但要学安全，得重新过一遍——只不过这次我们是带着“安全视角”去学。

2. 学习内容

**操作系统强化：**你需要重点学习 Windows、Linux 操作系统安全配置，对比运维工作中常规配置与安全配置的差异，深化系统安全认知（比如说日志审计配置，为应急响应日志分析打基础）。

**网络协议深化：**结合过往网络协议应用经验，聚焦 TCP/IP 协议簇中的安全漏洞及防护机制，如 ARP 欺骗、TCP 三次握手漏洞等（为 SRC 漏扫中协议层漏洞识别铺垫）。

**Web 与数据库基础：**补充 Web 架构、HTTP 协议及 MySQL、SQL Server 等数据库安全相关知识，了解 Web 应用与数据库在网安中的作用。

**编程语言入门：**学习 Python 基础语法，掌握简单脚本编写，为后续 SRC 漏扫自动化脚本开发及应急响应工具使用打基础。

**工具实战：**集中训练抓包工具（Wireshark）、渗透测试工具（Nmap）、漏洞扫描工具（Nessus 基础版）的使用，结合模拟场景练习工具应用（掌握基础扫描逻辑，为 SRC 漏扫工具进阶做准备）。

（二）第二阶段：漏洞挖掘与 SRC 漏扫实战

1. 阶段目标

这阶段是真正开始“动手”了。信息收集、漏洞分析、工具联动，一样不能少。

熟练运用漏洞挖掘及 SRC 漏扫工具，具备独立挖掘常见漏洞及 SRC 平台漏扫实战能力，尝试通过 SRC 挖洞搞钱，不管是低危漏洞还是高危漏洞，先挖到一个。

2. 学习内容

信息收集实战：结合运维中对网络拓扑、设备信息的了解，强化基本信息收集、网络空间搜索引擎（Shodan、ZoomEye）、域名及端口信息收集技巧，针对企业级网络场景开展信息收集练习（为 SRC 漏扫目标筛选提供支撑）。

漏洞原理与分析：深入学习 SQL 注入、CSRF、文件上传等常见漏洞的原理、危害及利用方法，结合运维工作中遇到的类似问题进行关联分析（明确 SRC 漏扫重点漏洞类型）。

工具进阶与 SRC 漏扫应用：

• 系统学习 SQLMap、BurpSuite、AWVS 等工具的高级功能，开展工具联用实战训练；

• 专项学习 SRC 漏扫流程：包括 SRC 平台规则解读（如漏洞提交规范、奖励机制）、漏扫目标范围界定、漏扫策略制定（全量扫描 vs 定向扫描）、漏扫结果验证与复现；

• 实战训练：使用 AWVS+BurpSuite 组合开展 SRC 平台目标漏扫，练习 “扫描 - 验证 - 漏洞报告撰写 - 平台提交” 全流程。
  SRC 实战演练：选择合适的 SRC 平台（如补天、CNVD）进行漏洞挖掘与漏扫实战，积累实战经验，尝试获取挖洞收益。

恭喜你，如果学到这里，你基本可以下班搞搞副业创收了，并且具备渗透测试工程师必备的「渗透技巧」、「溯源能力」，让你在黑客盛行的年代别背锅，工作实现升职加薪的同时也能开创副业创收！

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：全网最全的网络安全资料包需要保存下方图片，微信扫码即可前往获取!

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

（三）第三阶段：渗透测试技能学习

1. 阶段目标

全面掌握渗透测试理论与实战技能，能够独立完成渗透测试项目，编写规范的渗透测试报告，具备渗透测试工程师岗位能力，为护网红蓝对抗及应急响应提供技术支撑。

2. 学习内容

渗透测试核心理论：系统学习渗透测试流程、方法论及法律法规知识，明确渗透测试边界与规范（与红蓝对抗攻击边界要求一致）。

实战技能训练：开展漏洞扫描、漏洞利用、电商系统渗透测试、内网渗透、权限提升（Windows、Linux）、代码审计等实战训练，结合运维中熟悉的系统环境设计测试场景（强化红蓝对抗攻击端技术能力）。

工具开发实践：基于 Python 编程基础，学习渗透测试工具开发技巧，开发简单的自动化测试脚本（可拓展用于 SRC 漏扫自动化及应急响应辅助工具）。

报告编写指导：学习渗透测试报告的结构与编写规范，完成多个不同场景的渗透测试报告撰写练习（与 SRC 漏洞报告、应急响应报告撰写逻辑互通）。

（四）第四阶段：企业级安全攻防（含红蓝对抗）、应急响应

1. 阶段目标

掌握企业级安全攻防、护网红蓝对抗及应急响应核心技能，考取网安行业相关证书。

2. 学习内容

护网红蓝对抗专项：

• 红蓝对抗基础：学习护网行动背景、红蓝对抗规则（攻击范围、禁止行为）、红蓝双方角色职责（红队：模拟攻击；蓝队：防御检测与应急处置）；

• 红队实战技能：强化内网渗透、横向移动、权限维持、免杀攻击等高级技巧，模拟护网中常见攻击场景；

• 蓝队实战技能：学习安全设备（防火墙、IDS/IPS、WAF）联动防御配置、安全监控平台（SOC）使用、攻击行为研判与溯源方法；

• 模拟护网演练：参与团队式红蓝对抗演练，完整体验 “攻击 - 检测 - 防御 - 处置” 全流程。
  应急响应专项：

• 应急响应流程：学习应急响应 6 步流程（准备 - 检测 - 遏制 - 根除 - 恢复 - 总结），掌握各环节核心任务；

• 实战技能：开展操作系统入侵响应（如病毒木马清除、异常进程终止）、数据泄露应急处置、漏洞应急修补等实战训练；

• 工具应用：学习应急响应工具（如 Autoruns、Process Monitor、病毒分析工具）的使用，提升处置效率；

• 案例复盘：分析真实网络安全事件应急响应案例（如勒索病毒事件），总结处置经验。
  其他企业级攻防技能：学习社工与钓鱼、CTF 夺旗赛解析等内容，结合运维中企业安全防护需求深化理解。

证书备考：针对网安行业相关证书考试内容（含红蓝对抗、应急响应考点）进行专项复习，参加模拟考试，查漏补缺。

运维转行网络攻防知识库分享

网络安全这行，不是会几个工具就能搞定的。你得有体系，懂原理，能实战。尤其是从运维转过来的，别浪费你原来的经验——你比纯新人强多了。

但也要沉得住气，别学了两天Web安全就觉得自己是黑客了。内网、域渗透、代码审计、应急响应，要学的还多着呢。

如果你真的想转，按这个路子一步步走，没问题。如果你只是好奇，我劝你再想想——这行要持续学习，挺累的，但也是真有意思。

关于如何学习网络安全，笔者也给大家整理好了全套网络安全知识库，需要的可以扫码获取！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

1、网络安全意识

2、Linux操作系统

3、WEB架构基础与HTTP协议

4、Web渗透测试

5、渗透测试案例分享

6、渗透测试实战技巧

7、攻防对战实战

8、CTF之MISC实战讲解

关于如何学习网络安全，笔者也给大家整理好了全套网络安全知识库，需要的可以扫码获取！

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享