目录

《Attention is all you need 》

在这里插入图片描述

稀疏Attention

在这里插入图片描述

残差Attention

在这里插入图片描述

通道注意力

在这里插入图片描述

空间注意力

在这里插入图片描述

时间注意力

实际上序列类任务也属于时间注意力，比如transformer decoder逐个预测模型

在这里插入图片描述

可变形注意力

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

# transformer # 自然语言处理 # 深度学习 # bert
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

企业级酒店管理系统管理系统源码｜SpringBoot+Vue+MyBatis架构+MySQL数据库【完整版】

avatar 2048 AI社区

Python潮流数据分析与人工智能的完美融合

Python通过其丰富的库，如Apache Kafka的Python客户端、PyFlink、Faust等，同样在这一领域展现出强大的适应性与活力。未来，我们可以预见一个更加智能的时代，其中AI系统不再是静态的、迟钝的，而是动态的、自适应的，能够像活体生物一样，通过Python这一强有力的“神经脉络”，从永不停息的数据流中持续感知、学习和进化。更进一步，系统可以将推理结果与真实结果（通过后续反馈回路

avatar 2048 AI社区
cover

RAGFlow智能体开发：构建知识图谱

avatar 2048 AI社区