Module 01 · Recurrent Neural Networks

Recurrent Neural Network Model循环神经网络模型

在上一期视频中，我们介绍了定义序列学习问题所需的符号表示。现在，我们将探讨如何构建一个神经网络模型来学习从 x 到 y 的映射。

1.标准神经网络与序列问题的局限性

在解决这个任务时，您可能会考虑使用标准神经网络。例如，在之前的示例中，我们有 9 个输入词。您可以尝试将这 9 个词（可能是 9 个独热编码向量）输入到一个标准神经网络中，经过若干隐藏层后，输出 9 个值（0 或 1），表示每个单词是否是人物的名字。

然而，这种方法存在两个主要问题：

输入和输出长度不一致：不同的样本可能具有不同的输入长度 $T_x$ 和输出长度 $T_y$ ，如果每个句子的最大长度不同，你可能需要对每个输入进行填充（zero-padding），但这并不是最理想的表示方法。
缺乏共享特征：在标准神经网络中，不同位置的特征没有共享。例如，如果神经网络学到“Harry”在句子中的第一个位置提示它是一个人名，那么它无法自动识别其他位置的“Harry”也可能是人名。换句话说，神经网络无法像卷积神经网络（CNN）那样跨位置共享学习到的特征。
独热编码的局限性 🚧
例如，之前我们提到，每个输入词可能是一个 10,000 维的独热向量（one-hot vector）。如果句子中有 $T_x$ $T_{x}$ 个单词，那么输入层的大小就是：
这种表示方式虽然简单直观，但问题在于：
- 输入层非常庞大：每个词都是一个 10,000 维的向量，这就意味着如果有大量的词汇和句子长度较长，输入层会非常庞大。
- 权重矩阵参数过多：第一层的权重矩阵将会包含 10,000 × 10,000 个参数，导致模型的计算量和存储需求都非常高。

递归神经网络（RNN）能够克服这些问题，它可以通过循环机制处理序列数据。我们从左到右读取句子时：

第一个词：例如 $X_1$ ，将其输入到神经网络中，神经网络产生第一个预测 $\hat{y}_1$ 。
第二个词：例如 $X_2$ ，除了输入 $X_2$ ，它还会将来自第一个时刻的激活值传递给第二个时刻，使得第二个时刻不仅依赖于当前词 $X_2$ ，还依赖于前一时刻的上下文信息。

这个过程一直持续到最后一个词 $X_T$ ，每个时刻都会生成对应的预测 $\hat{y}_T$ 。

在递归神经网络中，每个时刻的输出 $\hat{y}_t$ 受到当前输入 $X_t$ 以及之前时刻（如 t-1）激活值的影响。这种信息的“传递”使得神经网络能够捕捉序列中的长期依赖关系。

时间零的初始化：为了开始计算，RNN 会使用一个虚拟的初始化激活值 $a_0$ ，通常设为全零向量（有些研究会随机初始化 $a_0$ ，但通常使用零向量最为常见）。
递归过程：每个时刻的输出由以下公式计算：
- 激活值： $a_t = g(W_{aa} a_{t-1} + W_{ax} X_t + b_a)$
- 预测输出： $\hat{y}_t = g(W_{ya} a_t + b_y)$