（七）Self-Attention 是咋回事儿？

不局限于 seq2seq 模型，Self-Attention 思想可在原地计算模型应该关注的地方（Context Vector）。

SimpleRNN 是用 $\bold h_0$ 和 $\bold x_1$ 计算 $\bold h_1$，而 Self-Attention 是使用 $\bold x_1$ 和 $\bold c_0$ 计算 $\bold h_1$：

$\bold h_1 =\tanh(\bold A\cdot \begin{bmatrix} \bold x_1\\\bold c_0 \end{bmatrix} +\bold b )$

当然 $\bold h_0$ 此时是零向量，所以 $\bold c_1 = \bold h_1$

再往下，由 $\bold c_1$ 和 $\bold x_2$ 计算出 $\bold h_2$

再由 $\bold h_2$ 和每一个 $\bold h_i$ 计算出 $\bold \alpha _ i$ 向量

再由 $\bold \alpha$ 和 $\bold h$ 向量点乘的到 $\bold c_2$

重复这个过程，直到所有输入都计算一遍。

总结：

• 有了自注意力机制，RNN更不容易遗忘
• 对于新的输入，会去关注相关的上下文