[论文阅读] (46)大佬团队探索 IDS-Agent: 一种用于物联网可解释入侵检测的大模型Agent

Eastmount

1021人浏览 · 2025-12-20 15:03:14

Eastmount · 2025-12-20 15:03:14 发布

《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。由于作者的英文水平和学术能力不高，需要不断提升，所以还请大家批评指正，非常欢迎大家给我留言评论，学术路上期待与您前行，加油。

前一篇博客介绍一种基于攻击意图驱动与序列学习的APT检测方法（Attack Intent-driven and Sequence-based Learning，AISL），依据攻击意图对潜在攻击行为进行识别与标注。本文介绍一篇智能体与入侵检测结合的创新性论文，该论文提出了IDS-Agent，这是首个由大语言模型（LLM）驱动的人工智能入侵检测Agent系统，其特点是能够解释检测结果、进行自定义设置并适应零日攻击。注意，由于我们团队还在不断成长和学习中，写得不好的地方还请海涵，希望这篇文章对您有所帮助，这些大佬真值得我们学习。fighting！

欢迎关注作者新建的『网络攻防和AI安全之家』知识星球（文章末尾）

在这里插入图片描述

原文作者：Yanjie Li, Zhen Xiang, Nathaniel Bastian, Dawn Song, Bo Li（大佬团队）
原文标题：IDS-Agent: An LLM Agent for Explainable Intrusion Detection in IoT Networks
原文链接：https://openreview.net/forum?id=uuCcK4cmlH
发表期刊：ICLR 2025 Conference 投递中（OpenReview）
研究机构：Hong Kong Polytechnic University, UC Berkeley, UIUC
笔记作者：贵大0624团队超帆

一.引言

物联网（IoT）中不断出现的新型威胁正在加速入侵检测系统（IDS）的发展，其检测方法已从传统的基于攻击特征或异常检测，转向基于机器学习（ML）的方案。然而，现有的基于机器学习的IDS通常缺乏结果解释能力，并且由于输出标签空间固定，难以有效应对零日攻击。为此，本文提出 IDS-Agent，这是首个由大语言模型（LLM）驱动的人工智能入侵检测智能体系统。

在每次接收到用户的检测请求及对应的网络流量输入后，IDS-Agent 不仅能判断该流量是正常还是遭受攻击，还能生成检测结果的解释说明。系统的核心流程包括LLM基于观察信息进行多轮推理，并据此生成检测相关的动作。IDS-Agent的动作空间涵盖数据提取与预处理、分类、知识与记忆检索以及结果聚合等功能，这些操作通过一系列专门用于入侵检测的工具执行。

此外，IDS-Agent 配备了记忆与知识库，用以保留当前及以往会话信息，以及与IDS相关的文档资料，从而增强其推理与行动生成能力。系统提示（system prompts）可以灵活定制，以调整检测灵敏度或识别此前未知的攻击类型。实验结果表明，IDS-Agent 相较于现有的ML型IDS和基于LLM提示工程的IDS，展现出更强的检测性能。
在 ACI-IoT 和 CIC-IoT 数据集上，IDS-Agent 分别达到了 0.97 与 0.75 的检测 F1 值；在零日攻击检测中，召回率达到 0.61，优于此前专为该任务设计的方法。

二.论文概述

1.整体框架

本文的核心工作是提出 IDS-Agent，一个首创性的、基于大语言模型（LLM）的智能入侵检测系统（Intrusion Detection Agent）。该系统面向物联网（IoT）环境设计，旨在解决传统入侵检测系统在解释性、灵活性以及未知攻击检测能力方面的不足。作者将LLM的推理能力、工具调用机制与知识增强（Retrieval-Augmented Generation, RAG）思想结合，使IDS-Agent能够像人类安全分析师一样进行多阶段思考与行动。

IDS-Agent 的整体设计理念是将入侵检测过程转化为一个由 LLM 主导的动态推理与执行流程。系统以用户检测请求和网络流量数据为输入，通过迭代推理（reasoning）、行动生成（action generation）和观察更新（observation update）三个阶段循环运行，直至得到最终的检测结果及其解释。

每一轮循环中，核心LLM会结合当前观察、历史记忆和知识检索结果，判断下一步应采取的动作。例如，当多个分类器给出冲突结果时，LLM会主动调用“知识检索”模块，从外部数据库或论文资料中获取关于该攻击类型的背景信息，并据此推理最终结论。

在这里插入图片描述

2.具体描述

与传统基于机器学习的IDS不同，IDS-Agent不是一个单一分类模型，而是一个能够调用多种工具的“智能协调体”。论文将其工作流程概括为“Reasoning-Followed-by-Action Pipeline”，即“推理驱动的动作管线”。系统内置多个功能模块：

数据提取（Data Extraction）：从原始流量数据中提取结构化特征；
预处理（Preprocessing）：对数据进行清洗、标准化与编码；
分类（Classification）：调用多个机器学习模型（如RF、SVM、MLP等）对流量进行判别，并输出置信度；
知识检索（Knowledge Retrieval）：通过搜索引擎或知识库查找与预测攻击相关的外部信息；
记忆调用（Memory Retrieval）：利用历史正确决策样本（长期记忆）进行类比推理；
聚合（Aggregation）：通过LLM对所有分类与知识结果进行整合、解释并输出最终结论。

这种模块化的设计使IDS-Agent具备极高的灵活性与可扩展性。用户可随时新增分类器或外部知识源，而无需重新训练核心模型。这一特性使系统能快速适应新的攻击类型或网络环境变化，尤其适合IoT这种多样性高、攻击频繁的场景。

除了功能结构上的创新，作者还在交互与可控性方面进行了扩展。通过修改系统提示词（system prompt），安全分析人员可以调整检测敏感度，从而在不同场景下平衡误报率（False Alarm Rate）与漏报率（Missed Detection Rate）。论文在实验中设置了“激进（Aggressive）”、“平衡（Balanced）”与“保守（Conservative）”三种模式，验证IDS-Agent能够根据指令自动调整判断阈值与输出倾向。

在性能层面，作者通过两个主流IoT入侵检测数据集验证了系统的有效性。

ACI-IoT’23
CIC-IoT’23、

三.方法设计

在整体架构上，IDS-Agent由三个主要组成部分构成：

核心LLM
工具箱（Toolbox）
记忆与知识库（Memory and Knowledge Base）

核心LLM是整个系统的中枢大脑，负责根据输入流量和检测请求进行逻辑推理，并在每一次推理中生成可执行的结构化行动指令。工具箱则相当于系统的“执行层”，包含了多种功能模块，用于完成数据预处理、分类、知识检索、结果聚合等操作。记忆与知识库承担长期信息存储和语义增强的职责，使系统能够在决策过程中调用历史经验和外部知识，以实现跨任务的自适应推理。

在这里插入图片描述

1.core LLM

系统的运行过程始于用户的检测请求。输入包括原始网络流量数据及系统提示（System Prompt），这些内容被拼接成初始观察（Observation O）。核心LLM首先分析该观察，生成内部推理（reasoning），然后根据推理结果决定要执行的动作（action），例如调用分类器或检索知识库。动作以JSON文件的结构化形式输出，其中包含动作名称、目标工具及相应参数。这一结构化格式使系统能够精确执行LLM生成的计划，而不需要额外的解析环节，从而保证了执行效率和自动化程度。

动作执行后，工具的输出被转换为文本并反馈给LLM，形成新的观察（observation），这部分信息被加入短期记忆以更新上下文。LLM在这一过程中不断进行新的推理与行动，形成一个动态循环，直到最终生成以“final answer”为标识的JSON输出，包含检测结果与详细解释。整个过程体现了一种连续的、自我调节的推理流，与人类分析师在面对复杂入侵情境时的思考逻辑十分相似。

2.Toolbox

在工具箱设计方面，IDS-Agent通过模块化方式实现了完整的入侵检测流水线。首先是数据提取（Data Extraction），该模块从指定的数据集中提取网络流量样本，通常通过流ID或行号定位，并将原始包数据整理为结构化输入格式。随后是预处理模块（Preprocessing），其任务是清理、标准化并转换原始数据，使其适配下游的机器学习模型。作者在论文中具体说明了该模块的多步操作：去除无关字段（如时间戳、流编号）、将非数值字段编码为数字形式（如通信协议、连接方式）、通过F检验选取最相关的特征，并最终对特征进行标准化处理，以确保不同量纲的输入在模型中具有可比性。

完成预处理后，系统进入分类阶段（Classification）。此时IDS-Agent调用一组预训练的机器学习模型，包括随机森林（RF）、K近邻（KNN）、逻辑回归（LR）、决策树（DT）、多层感知机（MLP）和支持向量机（SVM）。每个模型独立输出其预测结果及相应的置信度得分，系统会记录每个分类器的Top-3预测标签作为候选集合。这样做的目的在于充分利用不同模型的多样化判断，使得系统在面对复杂攻击时能够整合多源证据进行推理。值得注意的是，论文强调该分类器集合是开放式的，用户可以轻松地添加新的模型或外部API分类器，而无需重新训练LLM，这种灵活性为系统的持续演化提供了极大便利。

当不同分类器的输出出现冲突时，IDS-Agent并不会简单地依赖多数投票，而是通过知识检索（Knowledge Retrieval）与长期记忆（Long-term Memory）来增强判断。知识检索模块通过调用搜索引擎（如Google或Wikipedia API）以及系统自建的向量化知识库来补充攻击相关信息。该知识库收集了50篇网络安全博客与50篇研究论文的内容，使用ChromaDB构建成向量数据库。LLM在生成动作时会形成查询语句（query），系统通过计算查询与知识向量的余弦相似度（cosine similarity）来检索最相关的文档块。检索到的文档经过LLM摘要压缩后更新到观察中，从而为后续推理提供事实支撑。例如，当分类器给出“MITM攻击”和“ARP欺骗”两种相似预测时，知识检索模块会提供这两类攻击的定义与区别，帮助LLM判断哪一种更符合流量特征。

长期记忆模块的作用则在于提供经验迁移能力。系统维护一个结构化的历史记忆库，每个存储单元记录一次完整检测会话的时间戳、特征向量、推理轨迹、动作序列、观察结果及最终预测标签。LLM通过输入当前任务的观察序列，与历史案例进行语义匹配。论文中给出了具体的相似度计算公式（即公式1），其核心思想是基于时间衰减因子与内容相似度的加权求和，从而优先检索“既近期又相似”的历史案例。检索得到的前k个样本（论文中k=5）将被转换为输入提示，辅助当前推理。这样，系统在面对类似攻击情境时能够借鉴过去的成功经验，提高决策稳定性。

3.Memory and Knowledge Base

在推理的后期阶段，IDS-Agent通过结果聚合（Aggregation）模块整合来自分类器、知识检索和记忆模块的多源信息。与传统的多数投票或加权平均不同，聚合过程仍由LLM主导。LLM在系统提示中接收所有模型的预测标签及置信度分布、知识检索摘要以及长期记忆的相关案例，通过自然语言推理生成最终的检测结果及解释说明。这一聚合机制使IDS-Agent在面对多个相互矛盾的模型输出时，能够基于上下文逻辑与外部知识做出更合理的综合判断。例如，当三种模型置信度接近但知识库中指出该攻击类型具有高危特征时，系统会倾向于做出“恶意”判定，并在解释中说明依据。如表1所示，相比传统的多数投票，IDS-Agent的聚合策略显著提升了多分类任务的F1值和Recall指标。

在这里插入图片描述

记忆与知识模块在整个系统中发挥着连接与增强作用，它们并不独立运行，而是被核心LLM动态调用。当短期记忆中出现上下文不足或分类结果冲突时，LLM自动触发相应的检索动作。知识检索侧重横向扩展（引入新的事实信息），而长期记忆则侧重纵向关联（回顾过往的决策经验）。这种双向的信息流使系统在推理过程中兼具即时感知与历史积累的能力。论文的消融实验结果如表3所示，验证了两者的重要性：移除知识检索模块后，系统在零日攻击检测中的召回率从0.61降至0.42；移除长期记忆模块后，召回率也明显下降，说明两者对系统识别未知威胁的能力至关重要。

值得注意的是，作者在系统设计中还引入了“可调检测灵敏度”的概念。通过修改Prompt中的参数，IDS-Agent可以在“激进（Aggressive）”、“平衡（Balanced）”和“保守（Conservative）”三种检测模式之间切换。激进模式优先检测攻击、容忍一定误报；保守模式则更注重降低误报率。这一机制体现了LLM在任务指令理解和策略调整方面的优势，使安全分析人员能够根据实际场景快速调整系统策略，而无需修改底层模型结构。

四.实验结果与分析

1.多分类与二分类性能

表1展示了 IDS-Agent 与各基线方法在 ACI-IoT’23 与 CIC-IoT’23 上的综合表现。从结果来看，IDS-Agent 无论在二分类还是多分类任务上都显著优于对比方法。在 ACI-IoT’23 数据集上，使用 GPT-4o 的 IDS-Agent 在多分类任务中达到了 0.980 的总体准确率与 0.975 的 F1 值；而在 CIC-IoT’23 上的多分类任务中，其宏平均 F1 值为 0.750，比多数投票基线（0.699）和 GPT-4 基线（0.510）均有明显提升。

在这里插入图片描述

此外，在二分类任务中（恶意/正常流量），IDS-Agent 的误报率仅为 0.03，远低于 GPT-4 基线（0.497），表明其在保持高灵敏度的同时，具备出色的稳定性与精确性。作者指出，这一结果得益于 IDS-Agent 的推理型聚合机制，它在面对分类器输出不一致时，能通过知识检索与上下文推理做出更合理的判断，而非单纯依赖投票结果。

2.可解释性与决策追踪

论文通过案例分析（图2）展示了 IDS-Agent 的推理能力。当三种分类器将流量误判为“Benign”，而另三种预测为“Reconnaissance Attack”时，IDS-Agent 通过知识检索了解到“Host Discovery”和“OS Scan”属于侦察类攻击，并结合历史记忆中相似流量的特征模式，最终判定该样本为“Reconnaissance”。这一过程不仅提高了检测准确率，还生成了可读的解释文本，说明系统如何整合模型输出与外部知识来得出结论。该特性大幅提升了 IDS 在安全运维中的可用性，使其具备“可审计”与“可追踪”的特征。

在这里插入图片描述

3.零日攻击检测

为评估 IDS-Agent 识别未知攻击的能力，作者在 CIC-IoT’23 数据集中将 9 类攻击排除出训练集，作为“未见攻击”进行测试，并与两种专门为零日检测设计的方法——ACGAN（Zhao et al., 2022）和 RealNVP（Matejek et al., 2024）进行对比。结果如表2所示，IDS-Agent 在零日攻击检测任务中表现出色，平均召回率达 0.61，明显优于 ACGAN（0.41）与 RealNVP（0.47）。尤其在“Vulnerability Scan”与“SQL Injection”等高危攻击类型上，其召回率分别达到 0.95 与 0.86，展现出强大的泛化与自适应能力。

在这里插入图片描述

作者指出，这一性能得益于系统的多源融合机制：当分类器的预测置信度普遍较低或分歧较大时，IDS-Agent 自动触发知识检索与长期记忆调用，从知识与经验角度辅助决策，从而有效弥补传统模型面对未知分布时的盲区。

4.消融实验与模块贡献

为了分析不同模块对整体性能的影响，作者分别关闭了知识检索模块（Knowledge Retrieval Module, KRM）和长期记忆模块（Long-term Memory Module, LMM），结果如表3和表4所示。在移除知识检索模块的情况下，系统在零日检测任务中的召回率从 0.61 下降至 0.42；移除长期记忆模块后，召回率下降至 0.56。这表明外部知识和历史经验在推理过程中起到了互补作用：前者增强了系统对未知威胁的认知能力，后者提升了系统在复杂时间相关攻击中的判断一致性。

在这里插入图片描述

5.灵敏度调节与可控性

IDS-Agent 支持通过 Prompt 参数调整检测灵敏度。论文在 ACI-IoT’23 数据集上对三种检测模式进行了评估，如表5所示，在“激进模式（Aggressive）”下，系统对攻击样本的召回率达到 0.97，但对正常流量的召回率略降至 0.90；“保守模式（Conservative）”则将正常流量召回率提升至 0.98，但攻击召回率降低至 0.85。作者强调，这种可控机制使系统能够根据不同安全策略（如高风险环境或资源受限设备）灵活调整检测阈值，而无需额外训练。

在这里插入图片描述

通过系列实验，IDS-Agent 在多个方面展示出显著优势。其检测性能在已知与未知攻击场景中均优于传统与LLM基线模型；其推理与聚合机制使得系统能够提供可解释、可追溯的检测结果；其知识与记忆模块有效提升了对零日攻击的识别能力；而灵敏度调节机制则赋予系统高度的实用灵活性。总体而言，实验部分充分验证了 IDS-Agent 的设计思想：通过将 LLM 的推理与工具调用机制嵌入入侵检测流程，系统能够实现超越传统模型的认知检测能力，既提升性能，又实现了真正意义上的可解释智能安全防御。

五.总结与展望

1.系统优势与启示

IDS-Agent 的主要优势在于其多源融合与动态推理能力。系统能够在分类器结果冲突时主动检索外部知识、调用历史经验，并通过逻辑推理达成解释一致的判断。这种机制带来了三方面的提升：

（1）检测性能显著提高，F1 值和召回率均超越现有方法；
（2）检测过程具备语义解释链条，提升了安全可审计性；
（3）架构高度可扩展，能够无缝接入新模型与知识源。

更重要的是，IDS-Agent 展示了一种新的安全系统思路：让检测模型具备“理解与解释”的能力。这不仅提升了系统的可信度，也使安全专家能够将其作为辅助分析工具，用以解释复杂攻击行为。该研究为未来智能安全体系的设计提供了可借鉴的架构基础。

2.局限性与挑战

尽管 IDS-Agent 在性能与智能化方面均表现突出，但仍存在若干局限。

一是推理效率问题。由于每次检测都需多次工具调用与知识检索，平均推理延迟约为 8.6 秒（见论文表10），在高并发场景中仍有优化空间。
二是外部知识质量依赖。系统的知识增强效果取决于检索内容的可靠性，不一致或冗余的信息可能导致错误推理。
三是模型依赖与部署成本。系统目前依赖于商业化LLM（如 GPT-4o），在隐私与资源受限的场景下部署仍具挑战。

此外，当前的解释结果仍以自然语言呈现，尚缺乏形式化表达与策略可执行性，这限制了自动防御的进一步发展。

3.未来研究方向

未来工作可从以下几个方向拓展：

轻量化与本地化：开发基于开源 LLM 的高效版本，降低推理延迟与资源消耗；
持续学习与自适应记忆：让系统在运行中动态更新知识与经验，实现长期演化；
多智能体协作：构建多Agent框架，使不同安全智能体分工协同完成入侵检测、漏洞分析与威胁响应；
图结构与因果推理融合：结合图神经网络与因果关系分析，捕捉攻击链的结构依赖与演化特征。

这些方向将进一步推动 IDS-Agent 从智能检测走向自主防御，实现真正意义上的“认知安全体系”。

个人感受如下：

近年来，大语言模型（LLM）与智能体（Agent）范式的引入，正在推动入侵检测技术由“特征匹配与静态分类”向“推理驱动与认知决策”演进。以LLM为核心的智能体入侵检测系统通过整合多模型判别结果、外部知识检索与历史记忆，实现了对网络流量的多轮推理、证据聚合与可解释输出，不仅显著提升了检测准确性，也增强了对零日攻击和未知威胁的适应能力。相比传统机器学习或端到端深度模型，该范式强调“推理—行动—反馈”的闭环机制，使检测过程具备可审计性与策略可控性，为安全运维提供了类专家级的辅助决策支持。更进一步，这一思想对恶意代码检测同样具有重要启示意义：LLM-Agent可在静态与动态分析结果冲突时，结合反混淆知识、代码语义理解与攻击上下文进行推理，从而实现跨样本、跨阶段的攻击意图识别；同时，通过生成可解释的推理链条，有助于揭示混淆代码背后的真实行为逻辑。总体而言，大模型与智能体赋能为入侵检测与恶意代码分析提供了一种统一的智能分析范式，推动安全检测从“是否恶意”的判别，迈向“为何恶意、意图何在”的高层认知理解阶段。然而，仍有很多困难和瓶颈等待着大家去攻克，fighting！

2024年4月28日是Eastmount的安全星球——『网络攻防和AI安全之家』正式创建和运营的日子，该星球目前主营业务为安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁情报每日推送、网络攻防技术总结、系统安全技术实战、面试求职、安全考研考博、简历修改及润色、学术交流及答疑、人脉触达、认知提升等。下面是星球的新人券，欢迎新老博友和朋友加入，一起分享更多安全知识，比较良心的星球，非常适合初学者和换安全专业的读者学习。

目前收到了很多博友、朋友和老师的支持和点赞，尤其是一些看了我文章多年的老粉，购买来感谢，真的很感动，类目。未来，我将分享更多高质量文章，更多安全干货，真心帮助到大家。虽然起步晚，但贵在坚持，像十多年如一日的博客分享那样，脚踏实地，只争朝夕。继续加油，再次感谢！

(By:Eastmount 2025-12-20 周六夜于贵阳 http://blog.csdn.net/eastmount/ )

前文赏析：

2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

为什么高级工程师的 Git Log 像诗，而你的像“案发现场“？

2048 AI社区

如何通过提示压缩将 RAG 成本降低 80%

原文：towardsdatascience.com/how-to-cut-rag-costs-by-80-using-prompt-compression-877a07c6bedb图片由作者提供。AI 生成。推理过程是大大增加使用大型语言模型金钱和时间成本的因素之一。对于较长的输入，这个问题会显著增加。下面，你可以看到模型性能与推理时间之间的关系。性能分数与推理吞吐量 [1]每秒生成更多标记的快速

2048 AI社区

模型、AI大模型、AI、RAG、Agent之间的关系

AI领域包含模型和AI大模型，其中模型是核心载体，大模型是进阶形态（如GPT-4），具备更强泛化能力。RAG和Agent是基于大模型的上层技术：RAG通过检索外部知识增强大模型的生成准确性，解决知识过时和幻觉问题；Agent赋予大模型任务规划和工具调用能力，使其能自主执行复杂任务。它们共同扩展了大模型的应用边界，形成从基础模型到上层应用的技术闭环。