文心4.5

体验：在文心一言（https://yiyan.baidu.com）体验

技术报告详解：https://mp.weixin.qq.com/s/G1Kmh09T1L9lKFqGL1r99A

文心4.5系列总结：https://mp.weixin.qq.com/s/c1PL4qbtxPhTaWNpHC57uQ

模型

共10款，涵盖了激活参数规模分别为47B和3B的混合专家（MoE）模型（最大的模型总参数量为424B），以及0.3B的稠密参数模型。

所有均已开源，开源包括预训练权重、推理代码，均基于 Apache 2.0 许可证开源，这意味着开发者可以自由地使用、修改和分发这些模型。

均使用飞桨深度学习框架进行高效训练、推理和部署，并开源 ERNIEKit训练工具、FastDeploy推理部署工具。

开源地址：

• Hugging Face（https://huggingface.co/baidu）

• GitHub（https://github.com/PaddlePaddle/ERNIE）

• 飞桨星河社区（https://aistudio.baidu.com/overview）

效果：

• LLM：

• VLM

成为了国内开源大模型端侧部署的有力竞争者：

核心技术亮点

高效训练推理框架

为了支持文心4.5模型的高效训练，我们提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。推理方面，我们提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit量化和2-bit量化。此外，我们还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE模型的推理性能。基于飞桨框架，文心4.5在多种硬件平台均表现出优异的推理性能。

多模态混合专家模型预训练

文心4.5通过在文本和视觉两种模态上进行联合训练，更好地捕捉多模态信息中的细微差别，提升在文本生成、图像理解以及多模态推理等任务中的表现。为了让两种模态学习时互相提升，我们提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并且在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，达到多模态相互促进提升的目的。

多模态异构混合专家模型结构：

• 通过跨模态参数共享机制实现模态间知识融合，同时为各单一模态保留专用参数空间。此架构非常适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强多模态理解能力。

多阶段预训练

第一阶段：文本专精训练

第二阶段：模型开始接触多模态数据，但仍以文本为主导，实现联合训练

第三阶段：全面接触多模态数据，为了解决多模态模型由于输入长度变化导致专家负载不平衡和梯度不稳定，预训练过程还引入了新的损失函数，Router Orthogonalization Loss和Token-Balanced Loss，以优化模型在多模态任务中的稳定性和准确性。此外，团队还采用了Exponential Moving Average（EMA）技术，通过平滑参数更新，进一步提升模型的泛化能力。

后训练

为了满足实际场景的不同要求，我们对预训练模型进行了针对模态的精调。其中，大语言模型针对通用语言理解和生成进行了优化，多模态大模型侧重于视觉语言理解，支持思考和非思考模式。每个模型采用了SFT、DPO或UPO（Unified Preference Optimization，统一偏好优化技术）的多阶段后训练。

LLM后训练

引入 “渐进式强化学习（Progressive Reinforcement Learning ）” 策略，分逻辑推理、数学编程、通用任务三阶段逐步扩展能力边界。其中Unified Preference Optimization（UPO）算法将 DPO（直接偏好优化）损失融入 PPO 框架，通过在线拒绝采样生成偏好对，有效避免奖励博弈问题。

VLM后训练

结尾

亲爱的读者朋友：感谢您在繁忙中驻足阅读本期内容！您的到来是对我们最大的支持❤️

正如古语所言："当局者迷，旁观者清"。您独到的见解与客观评价，恰似一盏明灯💡，能帮助我们照亮内容盲区，让未来的创作更加贴近您的需求。

若此文给您带来启发或收获，不妨通过以下方式为彼此搭建一座桥梁： ✨ 点击右上角【点赞】图标，让好内容被更多人看见 ✨ 滑动屏幕【收藏】本篇，便于随时查阅回味 ✨ 在评论区留下您的真知灼见，让我们共同碰撞思维的火花

我始终秉持匠心精神，以键盘为犁铧深耕知识沃土💻，用每一次敲击传递专业价值，不断优化内容呈现形式，力求为您打造沉浸式的阅读盛宴📚。

有任何疑问或建议？评论区就是我们的连心桥！您的每一条留言我都将认真研读，并在24小时内回复解答📝。

愿我们携手同行，在知识的雨林中茁壮成长🌳，共享思想绽放的甘甜果实。下期相遇时，期待看到您智慧的评论与闪亮的点赞身影✨！

万分感谢🙏🙏您的点赞👍👍、收藏⭐🌟、评论💬🗯️、关注❤️💚～

---

自我介绍：一线互联网大厂资深算法研发（工作6年+），4年以上招聘面试官经验（一二面面试官，面试候选人400+），深谙岗位专业知识、技能雷达图，已累计辅导15+求职者顺利入职大中型互联网公司。熟练掌握大模型、NLP、搜索、推荐、数据挖掘算法和优化，提供面试辅导、专业知识入门到进阶辅导等定制化需求等服务，助力您顺利完成学习和求职之旅（有需要者可私信联系） 

友友们，自己的知乎账号为“快乐星球”，定期更新技术文章，敬请关注！