简单介绍什么是RNN,它们如何运行,以及如何用Python从头构建一个RNN。
专栏Matplotlib视频教程作者:Python部落10币17人已购查看
循环神经网络(RNN)是一种专门处理序列的神经网络。它们通常用于自然语言处理(NLP)任务,因为它们在处理文本方面非常有效。在本文中,我们将探索什么是RNN,了解它们是如何工作的,并使用Python从头构建一个真正的RNN(仅使用numpy库)。
这篇文章假设你有神经网络的基本知识。我对神经网络的介绍涵盖了你需要知道的一切,所以我建议你先读一下(
victorzhou/blog/intro-to-neural-networks/ )。
我们开始吧!
标准神经网络(以及CNN)的一个问题是,它们只能处理预先确定的大小: 它们接受固定大小的输入并产生固定大小的输出。RNN是有用的,因为它允许我们使用可变长度的序列作为输入和输出。下面是一些RNN的例子:
输入为红色,RNN本身为绿色,输出为蓝色。来源:Andrej Karpathy
这种处理序列的能力使RNN非常有用。例如:
机器翻译(比如谷歌翻译)是通过“多对多”RNN完成的。原始文本序列被输入一个RNN,然后该RNN会生成翻译文本作为输出。情感分析 (例如,这是一个积极的还是消极的评论?)通常是通过“多对一” 的RNN完成的。要分析的文本被输入一个RNN,然后该RNN会生成一个单独的输出分类(例如,这是一个积极的评论)。
在本文的后面,我们将从头构建一个“多对一”的RNN来执行基本的情感分析。
我们假设有一个带有输入x0,x1,...xn的“多对多”的RNN,我们希望它产生输出y0,y1,...yn。这些xi 和yi是向量,可以有任意的维数。
RNN利用以任意给定的步长t反复地更新一个隐藏状态h来运行,h是一个向量,也可以有任意的维数。
下一个隐藏状态ht是使用前一个隐藏状态ht -1和下一个输入xt进行计算的。下一个输出yt是使用ht进行计算的。
一个多对多RNN
这就是使RNN循环的东西: 它对每个步骤使用相同的权重。具体来说,一个典型的标准RNN只使用3组权重来进行计算:
Wxh, 用于所有的 xt → ht 连接。Whh, 用于所有的 ht-1 → ht 连接。Why, 用于所有的 ht → yt 连接。
我们也对我们的RNN使用两个偏差:
bh,计算ht时加上。by, 计算yt时加上。
我们用矩阵表示权重,用向量表示偏差。这3个权重和2个偏差就构成了整个RNN!
下面是把所有东西放在一起的方程式:
不要略过这些方程。停下来,盯着这个方程看一分钟。另外,记住权重是矩阵,其它变量是向量。
所有的权重都使用矩阵乘法进行应用,并将偏差加到结果乘积中。然后,我们使用tanh作为第一个方程的激活函数(其它激活函数像sigmoid也可以使用)。
不知道什么是激活函数?请认真阅读我之前提到的神经网络介绍。
我们来动手干吧!我们将从头实现一个RNN来执行一个简单的情感分析任务: 确定给定的文本字符串是积极的还是消极的。
下面是我为本文收集的小数据集中的一些例子:
由于这是一个分类问题,我们将使用“多对一" RNN。这与我们前面讨论的“多对多”RNN类似,只不过它只使用最终的隐藏状态来产生一个输出y:
一个多对一RNN
每个xi都是一个向量,表示文本中的一个单词。输出y将是一个包含两个数字的向量,一个表示积极的,另一个表示消极的。我们将使用Softmax将这些值转换为概率,并最终在积极的/消极的之间进行决定。
我们来开始构建我们的RNN!
我前面提到的数据集由两个Python字典组成:
True=积极的,False=消极的
我们必须做一些预处理才能把数据转换成可用的格式。首先,我们将构造一个包含我们数据中所有单词的词汇表:
vocab现在包含了至少在一个训练文本中出现的所有单词的列表。接下来,我们将分配一个整数索引来表示vocab中的每个单词。
我们现在可以用对应的整数索引表示任意给定的单词!这是必要的,因为RNN不能理解单词——我们必须给它们提供数字。
最后,回想一下RNN的每个输入xi都是一个向量。我们将使用one-hot向量,它除了包含一个1之外,其余值都是0。每个one-hot向量中的“1”将位于这个单词对应的整数索引处。
由于我们的词汇表中有18个唯一的单词,每个xi将是一个18维的one-hot向量。
稍后,我们将使用createInputs()来创建向量输入,并将其传入我们的RNN。
是时候开始实现我们的RNN了!我们将从初始化我们的RNN所需要的3个权重和2个偏差开始:
注意:我们除以1000是为了减小权重的初始方差。这并不是初始化权重的最佳方法,但它很简单,适合本文。
我们使用np.random.randn()从标准正态分布来初始化我们的权重。
接下来,我们来实现RNN的正向传递。还记得我们之前看到的这两个方程吗?
下面是这些同样的方程被写入代码中的形式:
很简单,对吧?注意,我们在第一步中将h初始化为零向量,因为此时没有可以供我们使用的前一个h。
让我们来试试:
如果你需要复习一下Softmax,请阅读我对Softmax的简要说明。
我们的RNN可以运行,但还不是很有用。我们来改变这一点……
为了训练我们的RNN,我们首先需要一个损失函数。我们将使用交叉熵损失函数,它通常与Softmax配对使用。我们是这样计算它的:
其中pc 是我们的RNN对正确类(积极的或消极的)的预测概率。例如,如果一个积极的文本被我们的RNN预测为90%的积极度,则损失为:
现在我们有了一个损失,我们将使用梯度下降训练我们的RNN来最小化损失。这意味着是时候推导一些梯度了!
以下部分假设你有多变量微积分的基本知识。如果你愿意,你可以跳过它,但我建议即使你不太明白也要略读一下。我们将在推导结果时逐步编写代码,即使表面的理解也会有所帮助。
如果你想了解这部分的额外背景知识,我建议你先阅读我的《神经网络介绍》中的《训练神经网络》部分。此外,这篇文章的所有代码都在Github上,所以如果你愿意,你可以follow它。
准备好了吗?我们开始吧。
7.1 定义
首先,我们来看一些定义:
让 y代表来自我们RNN的原始输出。让p代表最终的概率:p=softmax(y).让c 指代一个特定文本例子的真实标签,也可以说是“正确的”类。 让L代表交叉熵损失:L=-ln(pc)让Wxh 、Whh 和Why代表我们的RNN中的3个权重矩阵。让bh和by 代表我们的RNN中的两个偏差向量。
7.2设置
接下来,我们需要编辑正向阶段来缓存一些数据,以便在反向阶段中使用。在此过程中,我们还将为反向阶段设置骨架。它是这样的:
想知道我们为什么要进行缓存吗?请阅读我在我的CNN介绍的训练概述中的说明。我在其中做了同样的事情。
7.3梯度
是用到数学的时候了!我们从计算?L/?y开始。我们知道:
我将把使用链式法则推导?L/?y的过程留给你,但是推导出来的结果是漂亮的:
例如,如果我们有p=[0.2, 0.2, 0.6],并且其正确的类是c=0,那么我们就会得到 ?L/?y=[?0.8,0.2,0.6] 。这转换称代码也是很容易的:
漂亮!下一步,我们来为Why和by尝试一下梯度,它们的梯度只用与将最终的隐藏状态转换为RNN的输出。我们有:
式中,hn是最终的隐藏状态,因此,
类似地,
现在,我们可以开始实现 backprop()!
提醒: 我们之前在forward()中创建了self.last_hs。
最后,我们需要Whh 、Wxh 和bh的权重,它们将在RNN中的每一步使用。我们有:
因为改变Wxh会影响每一个ht ,而每一个ht都会影响y,并最终影响L。为了完全计算Wxh的梯度,我们需要反向传播所有的步长,这也被称为随时间反向传播(BPTT):
随时间进行的反向传播
Wxh被用于所有的xt —> ht 正向连接,因此我们必须反向传播回这些古玩论坛连接的每一个。
一旦我们到达了一个给定的步长t,我们需要计算?ht/?Wxh
tanh的推导是众所周知的:
我们和平常一样使用链式法则:
类似地,
我们需要的最后一个东西是?y/?ht,我们可以递归地计算它:
我们将从最后的隐藏状态开始,并逆向运行来实现BPTT,这样当我们想要计算?y/?ht+1的时候我们就已经有了?y/?ht!最后的隐藏状态hn是一个例外:
现在我们有了最终实现BPTT和完成backprop()所需要的所有东西:
一些需要注意的东西:
为了方便起见,我们已经将(?L/?y)*(?y/?h)合并到 ?L/?h中了。我们需要不断地更新一个保存最近的?L/?ht+1值的变量d_h,我们计算?L/?ht需要用到这个值。在完成BPTT之后,我们使用np.clip()截取小于-1或大于1的梯度值。这有助于缓解梯度爆炸问题,这是因为有很多相乘项时,梯度就会变的非常大。对于普通的RNN来说,梯度爆炸或梯度消失是很有问题的——像LSTM这样更复杂的RNN通常能够很好地处理它们。一旦所有的梯度被计算出,我们就使用梯度下降来更新权重和偏差。
我们做到了!我们的RNN是完整的。
终于到了我们一直等待的时刻——我们来测试我们的RNN!
首先,我们将编写一个辅助函数来使用我们的RNN处理数据:
现在,我们可以编写训练循环:
运行main.py应该会输出如下内容:
从结果来看我们自己建立的RNN还不错。
想自己尝试或修改这段代码吗?请在浏览器中运行这个RNN(repl.it/@
vzhou842/A-RNN-from-scratch)。你也可以在Github上找到它。(
github/vzhou842/rnn-from-scratch)
就是这样!在这篇文章中,我们完成了一个循环神经网络的一个演示,包括它们是什么,它们是如何工作的,它们为什么有用,如何训练它们,以及如何实现一个。虽然如此,你还有很多事情可以做:
学习长短期记忆网络,一个更强大更流行的RNN架构,或者学习门控循环单元(GRU),一个著名的LSTM变体。使用合适的ML库(比如Tensorflow、 Keras或 PyTorch)对更大/更好的RNN进行实验。阅读关于双向RNN的内容。它会正向和反向处理序列,因此,有更多的信息对于输出层来说是可用的。尝试词嵌入(比如 GloVe 或 Word2Vec),你可以使用它们将单词转换成更有用的向量表示形式。 尝试自然语言工具集(NLTK),一个流行的处理人类语言数据的Python库。
我写了很多关于机器学习的文章,所以如果你有兴趣从我这里获得前沿的ML内容,请订阅我的时事通讯。
联系客服