在概率论，尤其是信息论中，条件互信息的基本形式是在给定第三个变量值的情况下，两个随机变量互信息的期望值。

对于离散随机变量X,Y,Z，其条件互信息为：

用图形表示条件互信息为：

具体的定义等后续补充。 

Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

AI智能体取代传统LLM：架构设计者的终极生存指南

LLM智能体通过记忆、工具和规划三大核心组件的协同工作，实现了超越传统对话式LLM的能力。随着多智能体框架的快速发展，2025年将是智能体技术成熟和应用爆发的重要一年。好了，今天的分享就到这里，我们下期见。

avatar 2048 AI社区
cover

论文阅读：arxiv 2025 Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Sc

avatar 2048 AI社区

大模型推理加速学习笔记

用一个已经训练好的、庞大而精确的模型（“教师模型”）来指导一个较小的模型（“学生模型”）进行训练。LLM生成Token是串行的（Token_{n+1}依赖于 Token_{0:n}），这是推理的主要延迟来源。生成新Token时，只需计算当前Token的Query向量，并与缓存的历史KV向量进行注意力计算。：现代硬件（如GPU的Tensor Cores）有专门的整数计算单元，执行低精度运算更快、更节

avatar 2048 AI社区