（六）Attention 是咋回事儿？

Seq2Seq 的局限

Seq2Seq 仍有记忆问题，当待翻译的句子长度较长时，它会遗忘较早的 。

Attention

加上 attention，Seq2Seq 不会忘了原始输入，Decoder 每次生成时都回去重新看一遍 Encoder 的所有输入（计算一番），知道要额外关注哪些词，效果很好，但是带来了更多的计算。

Encoder 的最终输出的 $\bold h_m$ 同时也是 Decoder的 $\bold s_0$ ，它和每一个 $\bold h_i$ 计算出 $m$ 个 $\bold{\alpha_{i}}$ ，称为权重向量（weight），$\bold \alpha$ 和 $\bold h$ 点乘（向量相乘相加）得到 $\bold c_0$ 称为上下文向量（Context Vector），即 Attention 层的输出（之一）。

权重向量 $\bold \alpha$ 的具体的计算过程是：

1. 线性变换：

   $k_i=\bold W_K \cdot \bold h_i$, for $i = 1$ to $m$
   $q_o=\bold W_Q \cdot \bold s_0$

2. 内积

   $\tilde \alpha_i=k^T_i \bold q_0$, for $i=1$ to $m$

3. 标准化

   $[\alpha_1,\alpha_2,\dots,\alpha_m]=Softmax([\tilde \alpha_1, \tilde \alpha_2,\dots,\tilde \alpha_m])$

上下文向量 $\bold c_0$ 的计算过程就简单很多，将 $m$ 个 $\bold \alpha$ 和 $\bold h$ 相乘相加。

Decoder 端拿到 $\bold c_0$ 之后，即可计算 $\bold s_1$ ，具体的方法是：

$\bold s_1 =\tanh(\bold A'\cdot \begin{bmatrix} \bold x_1'\\\bold s_0\\\bold c_0 \end{bmatrix} +\bold b )$

相比 RNN，他多了一个 $\bold c_0$ 向量。计算出 $\bold s_1$ 之后，拿 $\bold s_1$ 和 Encoder 端的 $\bold h$ 向量计算新的 $\bold \alpha$ ， $\bold \alpha$ 和 $\bold h$ 点乘得到 $\bold c_1$ ，重复这个过程，直到 Decoder 端输入结束。

复杂度分析

为计算一个 $\bold c$，我们计算了 $m$ 个权重 $\alpha_1,\dots,\alpha_m$，Decoder 有 $t$ 个 状态，所以总共计算 $mt$ 个权重。

总结

• 标准的 Seq2Seq Decoder 只看当前状态
• 有了 Attention 的 Seq2Seq 会看 Encoder 的所有状态
• 有了 Attention 的 Seq2Seq Decoder 会知道不同程度的关注
• 更高的时间复杂度，标准的 Seq2Seq：$O(m+t)$，有了 Attention 的 Seq2Seq：$O(mt)$