不局限于 seq2seq 模型，Self-Attention 思想可在原地计算模型应该关注的地方（Context Vector）。 SimpleRNN 是用 h0\bold h_0h0​ 和 x1\bold x_1x1​ 计算 h1\bold h_1h1​，而 Self-Attention 是使用 x1\bold x_1x1​ 和 c0\bold c_0c0​ 计算 h1\bold h_1h1​

Seq2Seq 的局限 Seq2Seq 仍有记忆问题，当待翻译的句子长度较长时，它会遗忘较早的 。 Attention 加上 attention，Seq2Seq 不会忘了原始输入，Decoder 每次生成时都回去重新看一遍 Encoder 的所有输入（计算一番），知道要额外关注哪些词，效果很好，但是带来了更多的计算。 Encoder 的最终输出的 hm\bold h_mhm​ 同时也是 D

Seq2Seq 模型 Seq2Seq 模型，分为两个部分：Encoder 和 Decoder，每个部分都是基于 LSTM。 机器翻译的训练过程 Encoder 的最后一个单元的最终状态参数 h\bold hh 和 c\bold cc 作为 Decoder LSTM 第一个单元的起始状态参数。 h\bold hh 和 c\bold cc 里面包含了输入的英语句子 “go away” 的所有特征信

这里使用一部 90 多万字小说《琉璃美人煞》为例，使用 LSTM 方法做一次文本生成。 从一句预测下一句 Input data: '玑庸懒外表下的，是一颗琉璃般清澈冰冷的心，前世种种因果，让她今世不懂情感。对修仙'Target data: '庸懒外表下的，是一颗琉璃般清澈冰冷的心，前世种种因果，让她今世不懂情感。对修仙的'Input data: &#x

LSTM 是在 1997 年被提出来的。 LSTM 结构 LSTM 的结构比 RNN 要复杂，其中包含 4 个参数矩阵（相比于 RNN 只有一个参数矩阵），可从训练数据中反向传播而得到更新学习。 传送带 LSTM 中有一个传送带，可以将过去的信息 Ct−1C_{t-1}Ct−1​ 直接传递给未来的 CtC_tCt​ 四个参数矩阵 遗忘门 遗忘门（forget gate）WfW_fWf​

为什么要 RNN 全连接的逻辑回归有什么局限性？ 将整段文字一起处理（one to one） 输入输出是固定的形状 RNN（Recurrent Neural Networks 循环神经网络）更适合序列数据（many to one）。 RNN 内部详解 循环神经网络，顾名思义，单词一个一个的进行训练，x0\bold x_0x0​ 和初始 0 向量拼接在一起，与 A\bold AA 矩阵，

英文分词 “Don’t you love 🤗 Transformers? We sure do.” 通过空格分割： ["Don't", "you", "love", "🤗", "Transformers?", "We", "sure"

我有一个比较大的文件，将近8GB，进行一个测试。 Ubuntu 上操作 e 盘复制到 ubuntu 目录 $ pv /mnt/e/Codes/allaboutqa/data/ownthink/ownthink_v2.csv > t/ownthink_v2.csv7.98GiB 0:00:18 [ 436MiB/s] [===================================

下载和安装 首先，前往官网下载系统所匹配的版本 https://neo4j.com/download-center/#community Neo4j Desktop 需要注意的是，有个 Neo4j Desktop 可以使用，支持多平台，他内部与 neo4j server 是通过自有协议 bolt 连接起来的，看起来大概是这个样子，端口也是 7687，而不是我们平时通过浏览器 http 协议的

什么是矩阵 矩阵是对向量的扩展 (12345678910111213141516)\begin{pmatrix} 1 & 2 & 3 & 4 \\ 5 & 6 & 7 & 8 \\ 9 & 10 & 11 & 12 \\ 13 & 14 & 15 & 16 \end{pmatrix} ⎝⎜⎜⎛​15

规范化 上篇中我们提到了向量的方向性，其实向量除了方向还有大小。 u⃗=(3,4)\vec{u}=(3,4)u=(3,4)，问 u⃗\vec uu 的大小是多少？ 在二维平面中，我们可以根据勾股定理得，u⃗\vec uu 的大小 ∥u⃗∥=32+42=5\|\vec u\|=\sqrt{3^2+4^2}=5∥u∥=32+42​=5，其中 ∥u⃗∥\|\vec u\|∥u∥ 也叫向量的模。 之所

什么是向量 为什么线性代数很重要？线性代数使数学的研究从一个数扩展到一组数。 一组数就是向量（Vector） 研究一组数有什么用？最基本的出发点：表示方向。假如说 5km，我们不知道往哪个方向去的 5km，在二维平面中，至少需要两个数，才能确定方向， 向量是线性代数研究的基本元素 向量的起始点不重要，为方便起见，全部看做从原点出发 向量的顺序重要，不同的顺序是不同的