目录

《Attention is all you need 》

在这里插入图片描述

稀疏Attention

在这里插入图片描述

残差Attention

在这里插入图片描述

通道注意力

在这里插入图片描述

空间注意力

在这里插入图片描述

时间注意力

实际上序列类任务也属于时间注意力，比如transformer decoder逐个预测模型

在这里插入图片描述

可变形注意力

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

# transformer # 自然语言处理 # 深度学习 # bert
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

GEO语义资产库构建系统：从非结构化文档到AI信任资产的智能精炼厂

avatar 2048 AI社区
cover

【超详细新手教程！】使用第三方api平台配置Openclaw 龙虾详细教程

avatar 2048 AI社区
cover

Anthropic 51万行源码泄露：2026年 AI Agent 如何避坑并降低 50% 成本？

avatar 2048 AI社区