一、‌RNN的局限性‌

1. ‌梯度消失/爆炸问题‌
   RNN（长短期记忆网络）通过循环结构处理序列数据时，需将隐藏状态逐时间步传递，导致梯度在长序列反向传播过程中指数级衰减或膨胀，难以有效捕捉远距离依赖关系‌。LSTM（长短期记忆网络）与GRU通过门控机制缓解了这一问题，但对超长序列的建模能力仍有限‌。

2. ‌顺序处理与并行性差‌
   RNN必须按时间步顺序处理序列，无法利用现代硬件的并行计算能力，训练和推理效率低下‌45。这种串行特性也限制了其对全局上下文信息的动态整合能力‌23。

3. ‌信息传递效率低‌
   在长序列场景中，早期时间步的信息需经过多次-非线性变换-才能传递到后期，导致关键信息丢失或失真‌。例如，RNN在文本生成任务中可能因忽略前文关键词汇而生成逻辑矛盾的句子‌2。

二、‌CNN的局限性‌

1. ‌局部感受野限制‌
   CNN通过 - 卷积- 核提取局部特征，但其感受野受限于核尺寸与堆叠层数，需多层叠加才能扩大覆盖范围，导致计算成本急剧增加‌。例如，短文本分类任务中CNN可能因无法捕捉句间长距离语义关联而性能受限‌。

2. ‌静态权重分配‌
   CNN的卷积核权重在训练后固定，无法根据输入内容动态调整特征提取策略，难以自适应不同位置和语义的上下文关系‌。这种静态特性使其在复杂语义推理任务（如机器翻译）中表现逊于动态注意力模型‌。

3. ‌冗余计算与参数膨胀‌
   为覆盖长距离依赖，CNN需堆叠大量卷积层或使用空洞卷积，导致参数规模膨胀且计算冗余（如重复提取相似局部特征）‌。例如，文本序列建模中，CNN需多层级联才能建立词与段落级关联，而Transformer通过单层自注意力即可实现‌。

三、‌问题总结与影响‌

传统模型的这些缺陷直接推动了‌自注意力机制‌的诞生：

• ‌动态权重分配‌：Transformer通过自注意力计算任意位置间的关联权重，彻底解决长距离依赖问题‌。
• ‌全局并行处理‌：单层注意力即可覆盖全序列，计算复杂度可控（如稀疏注意力优化）‌。
• ‌硬件友好设计‌：矩阵运算高度并行化，适配GPU/TPU等加速芯片‌。

这些创新使Transformer成为替代RNN/CNN的主流架构，并在NLP、CV等领域实现性能突破‌。