IEEE TFS | 论文荐读!知识与数据融合!KDFDM:基于知识辅助和数据驱动的模糊决策模型,用于废水处理过程
荐读的论文提出了一种基于知识辅助的数据驱动模糊决策模型(KD-FDM),旨在为污泥膨胀提供精确的抑制策略(如图1所示)。在KD-FDM模型中,使用一种递归重构贡献(RRC)方法结合过程数据来识别污泥膨胀的原因变量。然后,基于RRC结果和专家经验,开发了知识内化机制(KIM)来构建KD-FDM的初始参数和结构。最后,设计了一个基于知识辅助的模糊广义学习系统(KFBLS),用于提供适当的策略来抑制污泥
本期推文的内容概要
本期推文将介绍一种基于知识辅助和数据驱动的模糊决策模型(Knowledge-aided and Data-driven Fuzzy Decision-making, KDFDM)。这项研究发表于《IEEE Transactions on Fuzzy Systems》期刊。
决策制定对于利用废水处理过程(WWTP)的操作信息至关重要,以提供污泥膨胀的抑制策略。然而,由于大多数决策模型仅专注于知识或数据资源,忽略了操作信息之间的相互关系和依赖性,这些模型难以获得全面和准确的解决方案。因此,为了解决这个问题,设计了一种基于知识辅助和数据驱动的模糊决策模型(KDFDM)用于污泥膨胀。首先,提出了一种递归重构贡献(Recursive Reconstruction Contribution,RRC)方法,用于分析操作数据并诊断污泥膨胀的故障。然后,故障信息可以作为有效的知识记录,以帮助决策。其次,开发了一种知识内化机制,利用RRC结果和专家经验来构建KD-FDM模型的初始条件。接下来,KD-FDM模型能够在初始化阶段获得精确的参数和紧凑的结构。第三,采用基于知识辅助模糊广义学习系统的KD-FDM模型来确定污泥膨胀的抑制策略。随后,KD-FDM模型能够快速准确地获得缓解对过程性能的不利影响的策略。最后,在实际的废水处理厂(WWTP)中对KD-FDM模型进行测试,以验证其有效性。实验结果表明,所提出的模型能够实现出色的性能。
论文的创新点主要有以下几点:
1)设计了一种递归重构贡献(RRC)方法,用于从过程数据中提取异常信息,识别污泥膨胀的成因变量。因此,所提出的RRC可以尽早获得准确的诊断结果,这些结果可以作为决策制定的有效知识之一;
2)提出了知识内化机制(Knowledge Internalization Mechanism,KIM),实现知识的呈现和推理,用于构建KD-FDM模型的初始条件。在该KIM中,来自RRC结果和专家经验的知识可以转化为模糊规则,从而确定KD-FDM的参数和结构。因此,基于KIM的KD-FDM具有良好的初始化性能;
3)在KD-FDM模型中开发了基于知识辅助的模糊广义学习系统(KFBLS),提供抑制污泥膨胀的建议。所提出的KFBLS可以充分利用知识和数据,提高决策制定的准确性(DMA)。因此,KD-FDM模型能够获得有效的抑制策略,以确保操作过程的安全性。
问题的背景
污泥膨胀问题(Sludge bulking)是污水处理过程中亟待解决的关键问题,它会导致污泥沉降性差、污泥流失和出水质量恶化。近年来,决策制定方法在污水处理过程中逐渐得到关注,特别是由于其能够利用操作信息来提供适当的抑制策略。然而,随着污水处理厂(WWTP)规模的扩大和系统的复杂化,以及对安全性和可靠性的需求增加,设计出合适的决策模型变得非常困难。在过去的几十年里,很多研究者和工程师致力于基于数据的决策模型,但由于数据获取过程耗时且受限于实际操作,常常会遇到数据不足或数据丢失的问题,这使得在不完整数据情况下构建有效的决策模型变得更加复杂
荐读论文解决的主要问题包括:
-
数据不足与丢失:在污水处理厂中,数据采集的时间和质量往往受限,导致数据不足或数据丢失的问题频繁出现,这使得基于数据驱动的决策模型难以在这种情况下提供有效的抑制策略;
-
知识获取与表示的难题:尽管知识驱动的决策模型能够通过模糊逻辑处理不确定信息,但知识的获取、表达和推理过程往往较为复杂,尤其是在动态变化的系统中。有效的知识获取和表示机制仍然是这些模型应用中的一个瓶颈;
-
单一资源信息的局限性:现有的决策模型往往只侧重于数据或知识单一资源的利用,忽略了操作信息之间的相互关系和依赖性。这样的模型在实际应用中,无法全面考虑系统的复杂性,因此难以获得令人满意的决策效果;
-
复杂度与实际应用的挑战:尽管多资源决策模型能够比单一资源模型取得更好的效果,但在实际过程中,由于系统复杂度高,获取有效的机制模型变得困难。如何将多种资源模型有效结合,并在实践中提供准确的决策支持,是当前模型需要克服的重要问题。
针对这些挑战,荐读的论文提出了一种基于知识和数据驱动的模糊决策模型(KD-FDM),通过递归重构贡献法(RRC)、知识内化机制(KIM)和知识辅助的模糊广义学习系统(KFBLS)相结合,能够有效提取和利用操作数据与专家经验,提供准确的抑制污泥膨胀的决策策略。
方法的概述
荐读的论文提出了一种基于知识辅助的数据驱动模糊决策模型(KD-FDM),旨在为污泥膨胀提供精确的抑制策略(如图1所示)。在KD-FDM模型中,使用一种递归重构贡献(RRC)方法结合过程数据来识别污泥膨胀的原因变量。然后,基于RRC结果和专家经验,开发了知识内化机制(KIM)来构建KD-FDM的初始参数和结构。最后,设计了一个基于知识辅助的模糊广义学习系统(KFBLS),用于提供适当的策略来抑制污泥膨胀。
图1 基于知识辅助的数据驱动模糊决策模型
(一)递归重构贡献(RRC)
在一个包含M个变量的系统中,可以通过N个测量数据来构建一个基于重构的贡献(RC)模型。首先,形成一个数据矩阵 X(每行表示一个测量),然后将数据矩阵 X 进行标准化,确保均值为0,方差为1,之后应用于系统诊断。为了降低归一化过程的计算复杂度,提出了基于递归策略的重构贡献(RRC)方法。当一个新样本 到达时,可以从旧的均值向量
更新均值向量
,并且计算变量的方差
。当发生故障时,目标是找到一个
来最小化故障检测指数。通过最小二乘解来计算故障幅度
。然后,通过构造RRC索引
,来评估各个变量的贡献度,从而识别出故障的变量。
(二)知识内化机制(KIM)
在KD-FDM模型中,来自专家经验或RRC方法的知识不能直接使用。为了有效地利用这些知识,采用了知识内化机制(KIM),将专家经验和RRC的结果转化为模糊规则。模糊规则的形式如下:
这些规则用于构建KD-FDM的初始结构,并确定模糊规则的前提和结果参数(如不确定中心、标准差和结果权重)。此外,通过分析专家知识和RRC的结果,可以为KD-FDM确定规则神经元的初始数目、规则的前提和结果参数,确保KD-FDM在初期阶段的有效性。
(三)知识辅助的模糊广义学习系统(KFBLS)
为了设计一个决策模型,荐读的论文提出了一种基于一组区间类型-2模糊神经元的知识辅助模糊广义学习系统(KFBLS)。KFBLS的输出由以下公式计算:。其中,
和
分别是IT2FNN层和增强层与输出层之间的权重矩阵。IT2FNN层由多个子系统组成,每个子系统的前提部分是区间类型-2模糊集,输出部分通过类型归约操作来处理不确定性。输出是每个IT2FNN子系统的结果,结合增强层的输出,最终得出KFBLS的决策输出。通过伪逆算法更新KFBLS的输出权重,从而优化计算过程。
(四)决策过程
KD-FDM模型可以为多个领域(如医疗诊断过程、冶金过程、污水处理等)提供有效的故障抑制策略。其主要决策步骤如下:
1. 收集操作过程的数据。
-
通过RRC方法计算三个故障诊断指数(T2、Q、ϕ),并判断故障的原因变量。
-
内化来自专家经验或RRC结果的知识,构建KD-FDM模型的初始结构和参数。
-
计算KD-FDM的输出,并通过伪逆算法更新输出权重。
-
如果 t=T,停止;否则,进行第4步的训练。
整个决策过程包括四个部分:数据收集、故障诊断、知识内化和适当策略的决策。在故障诊断后,决策模型会根据诊断结果和策略建议来抑制不同类型的故障。总结而言,KD-FDM模型通过结合RRC故障诊断方法和KFBLS决策模型,在不同应用领域中提供了有效的故障识别和处理方案。
总结与思考
在荐读的论文中,设计了一种KD-FDM模型,用于利用知识和数据资源提供适合的污泥膨胀抑制策略。通过数值实验结果,证明了该模型在不同条件下的优越性能。KD-FDM的一个优势是,RRC方法能够在任何情况下诊断出原因变量。实验结果表明,与PCA、RC、BLRC和KRC方法相比,提出的RRC方法能够在更短的时间内获得更准确的诊断结果。同时,KD-FDM的一个主要优势是,KIM能够在初始化阶段获得更准确的参数,并具有更紧凑的结构。这种方法增强了决策模型弥补数据不足的能力。此外,提出的KFBLS被引入KD-FDM中,以便在单变量故障或多变量故障的情况下,无论数据是否完整,都能提供准确的建议。实验结果证明,与其他方法相比,提出的KFBLS模型能够比FBLS、AHP和TOPSIS模型提供更准确的污泥膨胀抑制策略。因此,所提出的KD-FDM模型在故障诊断和决策性能方面具有竞争力。
作者指出,尽管上述实验结果表明,所提出的KD-FDM模型能够在不同条件下获得适当的决策建议,但仍有许多工作需要进一步研究,以克服其局限性。一个有趣的问题是尽可能考虑更多有效的信息来辅助决策。同时,未来的文章将重点设计一个结合智能优化算法的决策模型,以为污泥膨胀提供最优建议,并采用自愈控制器来预防或消除异常状态下的不良行为。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)