文章摘要

本文探索利用开源大语言模型实现知识图谱的半自动构建，提出了一个包含能力问题生成、本体开发、知识图谱构建和评估的完整管道。研究以深度学习方法论为例，通过学术出版物构建知识图谱，显著降低了人工参与成本，为知识工程领域提供了创新解决方案。

原文pdf：https://t.zsxq.com/PtL9o

---

一、引言：知识图谱构建的挑战与机遇

1.1 传统知识图谱构建的困境

在信息组织和表示领域，本体（Ontology）作为描述和构建领域知识的基础框架，扮演着至关重要的角色。这些结构化的表示不仅描绘了领域内的实体和关系，还为构建综合性知识图谱（Knowledge Graphs, KGs）奠定了基础。知识图谱进而为互联多样化信息、促进复杂数据分析和推理提供了强大机制。

然而，本体中封装的领域知识虽然对各种知识密集型应用具有重要价值，但其构建过程代价高昂。本体和知识工程代表了一种协作性和跨学科的工作，需要多个利益相关者投入大量时间和专业知识。本体语言的表达能力越强，在整个构建过程中需要做出的复杂设计选择就越多，同时还面临着准确性、可扩展性和知识捕获深度等额外的开发挑战。

传统的知识图谱构建方法通常涉及以下步骤：

• 通过从领域专家收集的能力问题（Competency Questions, CQs）来收集领域需求

• 与计算机科学家和领域专家合作开发本体

• 将非结构化数据转换为结构化格式

• 最终填充本体以创建知识图谱

在这种背景下，一个紧迫的问题浮现出来：如何在本体构建的资源密集性与有效利用领域知识的必要性之间取得平衡？

1.2 大语言模型带来的变革

近年来，大语言模型（Large Language Models, LLMs）的出现彻底改变了自然语言处理和知识表示的格局。这些模型配备了大量预训练参数和先进的神经架构，在理解和生成类人文本方面表现出卓越的能力，涵盖多种语言和领域。因此，它们在从信息检索到语言翻译等多个领域获得了广泛的应用和认可。

本研究试图通过在知识图谱工程中利用大语言模型来解决上述问题，特别关注最小化这些过程中涉及的时间和人力成本。研究探索了由大语言模型集成促进的知识图谱半自动构建，从收集能力问题到创建本体，再到填充本体数据。

1.3 研究案例：深度学习方法论知识图谱

为了测试方法的可行性，研究团队将该方法应用于创建关于深度学习（Deep Learning, DL）方法论的本体和知识图谱，这些信息从生物多样性领域的学术出版物中提取。

选择这个案例的动机源于深度学习在研究中的日益广泛应用。记录深度学习结果的来源对于促进这些研究的可重复性至关重要，这是信任和验证结果的先决条件。为了有效完成这项任务，需要捕获和存储诸如模型、架构、超参数和其他关键细节等信息的结构化表示。

---

二、相关工作：大语言模型在知识工程中的应用现状

2.1 大语言模型的革命性影响

大语言模型已经彻底改变了知识工程和自然语言处理，在各种语言任务中展现出人类级别的性能。随着大语言模型的日益强大，它们作为知识源在各种应用中的潜力已经变得明显，包括知识图谱补全、本体精化和问答系统等。

研究迅速扩展到探索大语言模型的应用，最近的论文提供了关于在知识图谱工程中使用大语言模型及其相关挑战的综述。Meyer等人列出了大语言模型辅助知识图谱工程的应用领域清单，包括创建或丰富知识图谱模式/本体、填充知识图谱等。Pan等人在其立场论文中提出了大语言模型用于知识图谱以及知识图谱用于大语言模型的机遇、愿景、研究主题和挑战。

2.2 本体构建的最新进展

近期研究引入了使用大语言模型进行本体创建、增强、补全和学习的方法：

• Cohen等人提出了一种爬虫方法，使用"主语-关系-宾语"语句格式从大语言模型中提取知识图谱

• Funk等人专注于从种子概念开始，通过查询大语言模型为给定领域构建概念层次结构。然而，他们只考虑子概念/is-a关系，而没有考虑其他关系 

本研究的独特之处在于关注重用现有本体及其所有概念和关系。虽然关于利用大语言模型补全知识图谱或本体的研究有限，但这一趋势似乎正在迅速改变。

2.3 开源模型的优势

值得注意的是，上述大多数出版物都基于OpenAI的GPT 3.5或GPT 4。然而，如果部署于大规模应用，OpenAI API模型的使用成本可能会迅速攀升。相比之下，开源大语言模型提供了透明度、模型控制、使用灵活性和成本效益。

据研究团队所知，这是首次引入使用开源大语言模型构建本体和知识图谱的综合半自动化管道的方法。

---

三、方法论：六步骤半自动化管道

3.1 整体架构设计

本研究提出的半自动化知识图谱构建管道包含六个主要组件：

1. 数据收集

   （Data Collection）

2. 能力问题生成

   （CQ Generation）

3. 本体创建

   （Ontology Creation）

4. 能力问题回答

   （CQ Answering）

5. 知识图谱构建

   （KG Construction）

6. 评估

   （Evaluation）

所有提示词、代码、结果和评估数据均已在GitHub上公开：https://github.com/fusion-jena/automatic-KG-creation-with-LLM

3.2 计算基础设施

研究使用的计算基础设施由耶拿弗里德里希·席勒大学提供：Draco集群，配备GPU加速器的计算节点，1×NVIDIA A100，80GB显存。

3.3 步骤一：数据收集

研究团队重用了先前研究中生成的数据集，该数据集通过系统文献综述来识别在生物多样性研究中采用深度学习方法的出版物，基于生物多样性专家建议的关键词。此外，两位领域专家策划了包含61篇出版物的数据集，并根据当前文献手动提取了与可重复性相关的变量。本研究使用这61篇出版物中的前5篇来测试半自动化管道。

3.4 步骤二：能力问题生成

为了生成能力问题，研究团队提示ChatGPT-3.5获取描述深度学习管道结果来源的抽象级问题。两位人类领域专家评估了ChatGPT-3.5网页界面生成的能力问题，以增强现有问题并添加新问题。

在能力问题生成步骤后，研究团队使用三个开源模型进行了实验：

• Llama 2-70B
• Mixtral 8x7B
• Falcon-40B

通过人工比较这些模型生成内容的质量，显然Mixtral 8x7B的输出相对优越，提供了预期的结果。因此，从本体创建组件开始，研究采用了"Mixtral 8x7B"，这是一个稀疏专家混合网络，在零样本设置下进行推理。

模型超参数配置：

• 零样本Mixtral 8x7B的超参数包括温度为10^-5

• 最大输出令牌限制为25,000个令牌

• RAG管道的文本分割块大小设置为2,500个令牌

• 块重叠为100个令牌

3.5 步骤三：本体创建

实施了两步策略从大语言模型生成的人工验证能力问题中创建本体：

第一步：概念和关系提取

• 从能力问题中提取所有概念及其关系

• 在提示中包含一组指令和一个示例能力问题及预期输出

第二步：本体构建

• 构建用于描述深度学习管道信息的本体

• 提供包含基本本体结构的上下文示例

• 利用PROV-O本体作为可重用的基础本体

• 整合从能力问题中提取的概念和关系

3.6 步骤四：能力问题回答

这个组件是整个管道的核心支柱，特别是对于知识图谱构建而言。通过这个组件，研究团队使用检索增强生成（Retrieval-Augmented-Generation, RAG）方法从数据集中选定的前五篇采用深度学习方法的生物多样性学术出版物中检索所有能力问题的答案。然后应用基本文本处理技术来细化生成的答案，在适用的情况下消除冗余和重复内容。

3.7 步骤五：知识图谱构建

为了构建知识图谱，将处理后的能力问题答案连同其各自的问题和大语言模型生成的本体一起作为输入提供给大语言模型。通过提示，研究团队指示大语言模型从答案中提取关键实体、关系和概念，并将它们映射到本体上以生成知识图谱。

3.8 步骤六：评估

在这一步骤中评估了大语言模型产生的两个关键输出：

1. 生成的能力问题答案
2. 从这些答案中自动提取的知识图谱概念

研究采用大语言模型作为评判者（通过提示指导），根据人类评估者生成的真实标准为生成的内容打分。由于手动标注需要时间和人力，人类专家仅对五篇学术文章进行了标注，为能力问题提供了真实文本，并分配单个词（正确、错误和部分）来评估RAG生成的能力问题答案。因此，这五篇出版物用于完整管道以测试方法的可行性。

评估方法：

对于生成的能力问题答案评估：

• 要求大语言模型对真实标准和生成答案之间的一致性进行0到10的评分

• 0表示无一致性，10表示最大一致性

• 大于或等于6的分数分类为"正确"

• 小于3的分数分类为"错误"

• 其余分数分类为"部分"

对于自动提取的知识图谱概念：

• 使用评判大语言模型检查知识图谱个体概念是否出现在相应生成的能力问题答案中

• 使用本体概念在知识图谱个体概念和相应生成的能力问题答案之间建立链接

---

四、研究成果与发现

4.1 能力问题生成结果

管道的能力问题生成步骤产生了40个能力问题。这些问题经过领域专家的验证和增强，形成了后续本体构建和知识图谱填充的基础。

4.2 本体构建成果

基于这40个能力问题，系统成功构建了描述深度学习方法论的本体框架。该本体：

• 重用了PROV-O本体作为基础

• 包含了从能力问题中提取的所有概念和关系

• 覆盖了深度学习流程中的关键要素，如模型、架构、超参数等

• 为后续的知识图谱构建提供了结构化框架

4.3 知识图谱构建与评估

研究团队成功地从五篇生物多样性领域的学术出版物中构建了深度学习方法论知识图谱。评估结果表明：

1. RAG生成答案的质量：通过大语言模型评判者的评分，大部分生成的答案与人工标注的真实标准具有较高的一致性

2. 知识图谱概念提取的准确性：自动提取的概念与生成的能力问题答案之间建立了有效的链接

3. 人工参与的必要性：虽然大语言模型显著减少了人工工作量，但研究强调了"人在回路"（human-in-the-loop）方法的重要性，特别是在评估自动生成的知识图谱时 

---

五、讨论：机遇与挑战并存

5.1 方法的创新性

本研究的主要贡献包括：

1. 首个基于开源大语言模型的完整管道：这是首次引入使用开源大语言模型构建本体和知识图谱的综合半自动化方法

2. 成本效益优势：相比于OpenAI的商业模型，开源模型提供了更高的成本效益和使用灵活性

3. 端到端解决方案：从能力问题生成到知识图谱评估的完整流程，为知识工程提供了系统性解决方案 

5.2 实践意义

研究发现表明，采用大语言模型可能会显著降低知识图谱构建中涉及的人力成本。然而，研究团队建议采用人在回路的方法来评估自动生成的知识图谱，以确保质量和准确性。

对于专业人群、企事业单位和科研院所而言，这一方法具有以下实践价值：

1. 加速知识工程进程

   ：大幅缩短本体和知识图谱的构建周期

2. 降低专家参与成本

   ：减少领域专家的时间投入，提高工作效率

3. 提高知识捕获的系统性

   ：通过结构化方法确保知识的完整性和一致性

4. 促进知识复用

   ：为后续研究和应用提供可重用的知识资产

5.3 局限性与未来方向

虽然大语言模型为本体学习和开发提供了新的可能性，但它们并没有改变专家协作和在社区内建立共识的基本需求。然而，它们可能通过简化本体开发和集成到半自动工具链中来提高本体学家的生产力。

研究的局限性包括：

1. 样本规模限制：由于人工标注需要大量时间和人力，研究仅使用了五篇学术出版物进行完整管道测试

2. 人工验证的必要性：尽管系统实现了高度自动化，但在关键步骤（能力问题生成和最终评估）仍需要人类领域专家的介入 

3. 领域特定性：当前研究聚焦于深度学习方法论领域，其在其他领域的泛化能力还需要进一步验证

4. 模型依赖性：虽然采用开源模型降低了成本，但模型性能仍然是影响最终结果质量的关键因素

未来研究方向：

1. 扩大应用范围：将该方法应用于更多领域和更大规模的数据集，验证其普适性和可扩展性

2. 优化人机协作机制：进一步探索如何在自动化和质量控制之间取得最佳平衡，减少人工干预的同时确保输出质量

3. 增强评估机制：开发更加完善的自动评估方法，减少对人工真实标准的依赖

4. 模型性能提升：随着开源大语言模型的不断发展，持续优化模型选择和参数配置

5. 知识图谱的动态更新：探索如何实现知识图谱的自动维护和更新机制，以适应领域知识的持续演进

六、结论：迈向智能化知识工程的新范式

6.1 研究贡献总结

本研究提出了一个创新的半自动化管道，利用开源大语言模型实现了从能力问题生成到知识图谱构建的完整流程。主要贡献包括：

1. 方法论创新：首次提出基于开源大语言模型的综合性知识图谱构建管道，为知识工程领域提供了新的技术路径

2. 成本效益优化：相比传统方法和商业模型，显著降低了知识图谱构建的时间和人力成本 

3. 实践验证：通过深度学习方法论案例，验证了该方法在真实场景中的可行性和有效性

4. 开源贡献：所有代码、提示词和数据均已公开，促进了学术交流和方法复用

6.2 对知识工程的启示

研究结果表明，大语言模型的集成为知识图谱工程带来了革命性的变化。虽然完全自动化可能不是最优解，但人在回路的半自动化方法能够在效率和质量之间取得良好平衡。

对不同利益相关者的意义：

• 领域专家：可以将更多精力集中在知识验证和质量控制上，而不是繁琐的数据提取和结构化工作

• 知识工程师：获得了强大的辅助工具，能够更高效地构建和维护大规模知识图谱

• 研究机构：降低了知识工程项目的门槛和成本，使更多研究团队能够开展相关工作

6.3 展望未来

随着大语言模型技术的不断进步和开源生态的日益完善，知识图谱的自动化构建将变得更加成熟和可靠。本研究为这一领域的发展奠定了坚实基础，展示了人工智能技术如何赋能知识工程，推动从人类专家向智能机器辅助的范式转变。

未来的知识工程将更加依赖人机协作的混合模式，既充分利用大语言模型的效率和规模优势，又保留人类专家在质量控制和创新决策中的核心作用。这种协同将为构建更加丰富、准确和可用的知识图谱开辟新的可能性。

欢迎加入「知识图谱增强大模型产学研」知识星球，获取最新产学研相关"知识图谱+大模型"相关论文、政府企业落地案例、避坑指南、电子书、文章等，行业重点是医疗护理、医药大健康、工业能源制造领域，也会跟踪AI4S科学研究相关内容，以及Palantir、OpenAI、微软、Writer、Glean、OpenEvidence等相关公司进展。