//5.7—5.13

1.文章拟解决的问题

        旨在解决如何讲Transformer架构较好地运用到图像识别的任务中去，利用大量实验和对比分析论文其优越性，解决卷积神经网络在大规模数据中限制模型的泛化。

2.文章的创新点

• 将用于自然语言处理的Transformer架构应用于图像识别，将图像分割成固定大小的块，实现对图像数据的有效编码与处理。

• 对计算效率进行了优化。展示了不同模型在预训练期间的计算成本，展示了跟传统的卷积神经网络模型在达到相似或者使更好的性能时候，所需要的计算资源显著减少了。

• 简化了对于模型的设计。VIsion Transformer尽量遵循了原始的Transformer设计，能够将自然语言处理中所存在的高效Transformer架构能够直接用到视觉任务中去，不需要进行复杂的修改。

3.文章采用的技术

• 图像位置线性嵌入。实现了不同位置的嵌入方法，例如无位置信息、一维位置、二维位置嵌入和相对位置嵌入等，探讨了它们对模型性能的影响。

• Transformer架构。将图像分割成了固定大小的patches，并且像处理文本序列一样去处理这些patches来实现对2D图像数据进行有效编码。

• 对比基准线卷积神经网络。运用了改进版本的ResNet作为基准线，来提升迁移学习性能。

• 微调策略。移除了预训练分类头，替换成为任务要求的线性层，利用SGD优化器在高分辨率的背景下进行微调，包括调整学习率、批量设置大小等，来优化模型的表现。

4.文章的结论及展望

4.1结论

        文章充分展示了Vision Transformer作为一种新型的图像识别方法具有很大的潜力，论证了其在多种视觉任务中所能提供的强大性能。即使不运用专门针对视觉任务设计的归纳偏置，该方法取得了超越目前最为先进的卷积神经网络的性能，验证了Transformer架构能够适用于完成图像识别的任务。Vision Transformer在一开始训练的时候需要大量的的计算资源，当达到相似的性能时，跟传统的卷积神经网络所需要的计算资源就少很多，在计算成本上有一定的优越性。

4.2未来展望

        Vision Transformer在图像分类方面取得了不错的成绩，但是在检测分割等其他视觉任务上的应用还要探索的空间。深入研究如何更加有效编码空间信息，对于提升模型的表现可能也很重要。同时，为了方便将Vision Transformer更好地运用到实际中去，需要对计算效率进行优化