【注】本篇内容基本来自于：【九天Hector的个人空间-哔哩哔哩】 https://b23.tv/md9rjFS，如侵删。

1. MoE架构在企业环境中可能遇到什么工程化难题？

除了专家路由均衡和高速互联依赖外，还会涉及跨卡通信优化、专家负载动态调度，以及需要考虑容错和监控机制等等，这些都是工程化的难点。

2. 如果预算有限，如何优先分配硬件资源？

应优先保障显存容量和带宽，以确保模型能正常加载和高效运行；其次是考虑显卡数量。

对小模型而言，单卡大显存往往比多卡小显存效率更高，但价格也更贵。

3. 在评估硬件成本时，除了显卡还要考虑哪些隐形成本？

除了显卡，还要考虑电力与散热、机房空间、集群运维和人员成本，以及分布式通信开销，这些隐性成本常被忽视，却对整体预算影响显著。

4. 如何进行多机多卡微调？

所谓多机多卡微调，本质上就是通过分布式训练框架，将模型、数据和计算任务切分到多个GPU节点上并行执行。

常见的并行模式包括数据并行（Data Parallel, DP）、模型并行（Model Paralle, MP），以及近年来在大模型训练中应用广泛的张量并行（Tensor Parallel，TP）和流水线并行（Pipeline Parallel， PP）。

其中，数据并行主要解决”批量太大“的问题，把训练数据分块分发到不同GPU上；而模型并行则针对模型参数量过大的情况，将不同层或权重切分到不同GPU上。实际工程中，往往需要采用混合并行来突破单一策略的局限。例如，当单卡显存不足时，可以先使用张量并行把模型的权重切分，再叠加数据并行来保证足够的吞吐，这也是Megatron-LM的典型做法。如果规模继续扩大，还会结合流水线并行，也就是把不同的网络层分布到不同的GPU节点上，这就是所谓的3D并行，也是几乎当代大模型训练的标配。

• 数据并行：分数据，存全模型，同步梯度；
• 模型并行：分模型，不同GPU放模型的不同部分；
• 张量并行：分层内，把大权重矩阵拆开计算；
• 流水线并行：分阶段，像流水线一样按层分段来处理数据；
• 3D并行：三者结合，同时使用以上三种方法来训练超大模型。

要实现稳定高效的多机多卡微调，不仅要选择好并行策略，而且还要掌握底层通信与调度机制。目前业界主流做法是基于NCCL通信库与高性能互联搭建分布式集群，通过PyTorch Distributed、DeepSpeed或Megatron-LM等框架实现同步化调度和梯度同步。此外，在工程层面还必须考虑容错性、断点续训、混合精度（FP16/BF16）等因素。

5. 在多级多卡微调中，如何应对单节点故障？

多机多卡训练过程中，单节点故障往往会导致整个训练任务中断，影响极大。工程实践中常见的解决方案是断点续训与分布式容错机制。比如，通过定期保存checkpoint，可以在节点恢复或替换后快速回滚到最近一次保存的状态，避免重复计算。部分框架（如Deepspeed、Horovod）也支持自动容错，在检测到节点试炼时能自动重试或调整并行策略。

6. 在多机多卡微调中，为什么要使用ZeRO优化器？

ZeRO（Zero Redundancy Optimizer）是微软在Deepspeed提出的优化技术，他的思想是将参数（Parameters）、梯度（Gradients）、优化器状态（Optimizer States）分片存储在不同GPU上，而不是在每张卡上保存一份完整拷贝。这样一来，每张GPU承担的内存压力就会大幅下降，从而可以在同样的硬件条件下支持更大的模型，在某些场景下，甚至可以把内存开销降到1/8甚至更小。因此，ZeRO在大模型的多机多卡微调中几乎是“必备武器"。

7. 在工程实践中，通信带宽不足会带来哪些影响？

通信带宽不足时多机多卡微调中常见的瓶颈之一，表现为 梯度同步速度过慢、训练吞吐下降、GPU利用率偏低。尤其是在跨节点训练时，如果网络互连进士万兆以太网而非 InfiniBand 或 NVLink，那么通信时间可能占到整体训练时间的一半以上，导致扩展效率大幅降低。