Attention的基本原理

文章目录

• • 一、举个例子
  • 二、注意力公式
  • 三、注意力早期的发展
  • 四、优缺点

    ---

    Attention的思想如同它的名字一样，就是“注意力”，在预测结果时把注意力放在不同的特征上。

    一、举个例子

    • 比如在预测“我妈今天做的这顿饭真好吃” 的情感时，如果只预测正向/负向，那真正影响结果的只有“真好吃”这三个字，前面说的“我妈今天做的这顿饭”基本没什么用，如果是直接对token embedding进行平均去求句子表示会引入不少噪声。
    • 所以引入attention机制，让我们可以根据任务目标赋予输入token不同的权重，理想情况下前半句的权重都在0.01，后三个字则是“0.3, 0.3, 0.3”
    • 在计算句子表示时就变成了：
      最终表示 = 0.01x我+0.01x妈+0.01x今+0.01x天+0.01x做+0.01x的+0.01x这+0.01x顿+0.02x饭+0.3x真+0.3x好+0.3x吃
      核心就在于这个权重怎么计算？

      二、注意力公式

      通常我们会将输入分为query(Q), key(K), value(V)三种：
      
      上文中QK的具体运算f有多种方法，常见的有加性attention和乘性attention：
      
      再深入理解下去，这种机制其实做的是寻址（addressing），也就是模仿中央处理器与存储交互的方式将存储的内容读出来，可以看一下李宏毅老师的课程。

      三、注意力早期的发展

      attention在NLP中最早的应用：Seq2seq+attention。
      （1）没有attention的Seq2seq：
      
      （2）加入attention与rnn结合的model（也叫soft attention）:
      
      
      

      四、优缺点

      优点：

      • 在输出序列与输入序列“顺序”不同的情况下表现较好，如翻译、阅读理解；
      • 相比RNN可以编码更长的序列信息；
      • 运算并行，加速推理。

        缺点：

        • 对序列顺序不敏感。

          ---

          如果有用，请点个三连呗 点赞、关注、收藏。

          你的鼓励是我最大的动力

          ---