【Vision Transformers-VIT】: 计算机视觉中的Transformer探索

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。

✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~

👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~

三、深度学习【Pytorch】专栏【链接】

四、【Stable Diffusion绘画系列】专栏【链接】

五、YOLOv8改进专栏【链接】，持续更新中~~

六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

介绍

Transformer 模型极大地推动了人工智能领域的发展，尤其是在自然语言处理 （NLP） 和计算机视觉领域。使 transformer 如此强大的关键特征之一是它们的注意力机制，它允许模型专注于输入数据的不同部分。

这种机制在Vision Transformers（ViT） 中尤为重要，该VIT在 An Image is Worth 16x16 Words： Transformers for Image Recognition at Scale（Dosovitskiy 等人，2021 年）中介绍，它将Transformer架构应用于图像数据。

在这篇文章中，我们将深入探讨如何量化和可视化注意力，重点关注 ViT 模型，并演示如何生成和解释注意力地图。

ViT 模型：基于 Transformer 的计算机视觉架构

我们讨论的具体模型是 google/vit-large-patch32-384 ，它在 ImageNet-21k 上进行了预训练，并在 ImageNet 2012 上进行了微调。该模型具有：

• 分辨率：224x224（预训练）和 384x384（微调）
• 层数：24 层，每层有 16 个关注头
• Tokens：145（包括CLS-Tokens）

  生成注意力热力图

  注意力热力图有助于可视化模型聚焦的图像的哪些部分。层中的每个注意力头都学习tokens关系的不同方面。该过程包括：

  1. 通过模型管道推理图像
  2. 聚合注意力映射
  3. 平滑地图并将其应用于原始图像

  配置 ViT 模型

  为了能够从模型的推理中提取注意力数据，在加载预训练（和微调）模型时，在通过图像之前需要进行一些配置：

  from transformers import ViTForImageClassification, ViTImageProcessor
  # Load a pre-trained ViT model and feature extractor
  model_name = 'google/vit-large-patch32-384'
  processor = ViTImageProcessor.from_pretrained(model_name, do_rescale=False)
  model = ViTForImageClassification.from_pretrained(model_name, attn_implementation='eager')
  # Run an image through the pipline
  inputs = processor(images=image, return_tensors="pt")
  outputs = model(**inputs, output_attentions=True)
  # Getting the attentions
  attentions = outputs.attentions 
  

  原始注意力

  在汇总所有 24 层的总分类注意力之前，我们可以绘制单层 16 个注意力图像（作为标记的数量;145X145），让我们看一下最后一层，例如：

  

  单层 16 张注意力图像 （16X145X145）

  ig, axs = plt.subplots(4, 4, figsize=(20, 20))
  for i, ax in enumerate(axs.flatten()):
      ax.imshow(attentions[-1][0, i, :, :].detach().cpu().numpy())
      ax.axis('off')
  

  滚动注意力

  滚动注意力聚合跨多个图层的注意力地图，提供跨所有图层的图像焦点的全面视图。该技术突出显示了最相关的区域，提供了一种视觉解释形式，并使模型的内部工作更易于解释。

  根据Abnar&Zuidema（2020）的工作，transformers中的注意力流可以量化。数学过程包括以下步骤：

  

  代码如下：

  def attention_rollout(attentions):
      # Initialize rollout with identity matrix
      rollout = torch.eye(attentions[0].size(-1)).to(attentions[0].device)
      # Multiply attention maps layer by layer
      for attention in attentions:
          attention_heads_fused = attention.mean(dim=1) # Average attention across heads
          attention_heads_fused += torch.eye(attention_heads_fused.size(-1)).to(attention_heads_fused.device) # A + I
          attention_heads_fused /= attention_heads_fused.sum(dim=-1, keepdim=True) # Normalizing A
          rollout = torch.matmul(rollout, attention_heads_fused) # Multiplication
      return rollout
  

  这个简单的过程借鉴了基于Transformers的NLP任务模型评估，使我们能够聚合所有层的注意力，保留每个标记（视觉中的图像补丁）为任务传达的信息。

  示例和视觉演示

  以下是一些示例，展示了注意力图如何突出显示重要的图像区域，从而增强了转换器模型在视觉任务中的可解释性。

  使用这个推出过程，我们能够在原始输入之上生成一个注意力布局：

  

  输入和生成的注意力热力图，这是通过将分类标记的注意力向量扩展到 12X12 矩阵中来实现的。

  cls_attention = rollout[0, 1:, 0]  # Get attention values from [CLS] token to all patches
  cls_attention = 1 - cls_attention.reshape(int(np.sqrt(num_of_patches)), int(np.sqrt(num_of_patches)))
  

  

  classifaciton tokens的 12X12 原始注意力热力图。

  在应用Geussion Filter并重塑后，我们得到了要叠加的最终图像如下：

  # Normalize the attention map for better visualization
  cls_attention = (cls_attention - cls_attention.min()) / (cls_attention.max() - cls_attention.min())
  # Resize and blur the attention map
  cls_attention_resized = Image.fromarray((cls_attention * 255).astype(np.uint8)).resize((img_size, img_size), resample=Image.BICUBIC)
  cls_attention_resized = cls_attention_resized.filter(ImageFilter.GaussianBlur(radius=2))
  

  

  操作后的注意力图

  最后，应用灰度注意力叠加的变换：

  # Convert the attention map to RGBA
  cls_attention_colored = np.array(cls_attention_resized.convert("L"))
  cls_attention_colored = np.stack([cls_attention_colored]*3 + [cls_attention_colored], axis=-1)
  # Adjust the alpha channel to control brightness
  cls_attention_colored_img = Image.fromarray(cls_attention_colored, mode="RGBA")
  cls_attention_colored_img.putalpha(100)  # Adjust alpha for blending (lower value for darker overlay)
  

  生成的地图：

  

  灰度注意力地图

  总结

  在图像分类任务领域，描绘注意力图像具有显着优势。

  这些图像突出显示了图像中与特定任务最相关的区域，从而对影响模型决策的关键区域进行了重点分析。此功能充当视觉解释的一种形式，使模型的内部工作更易于解释。

  通过揭示模型认为重要的图像部分，注意力地图增强了透明度和可信度，使用户能够更有效地理解和验证模型的预测。

  在这个特定示例中，模型似乎在耳朵和脸上有更多的重点来确定这是一只狗。

  

  ---

  好了，这篇文章就介绍到这里，感谢点赞关注，更多精彩内容持续更新中~

  关注文末名片G-Z-H：【阿旭算法与机器学习】，可获取更多干货学习资源