神经网络中的 Dropout rate
通俗理解
在神经网络中，Dropout rate 是一种用于减少过拟合的正则化技术。它是指在训练过程中，随机关闭（将其输出设为0）一定比例的神经元。Dropout rate 是一个在 0 到 1 之间的值，表示在每个训练步骤中被关闭神经元的比例。
当使用 Dropout 时，每次迭代时，网络的部分连接会被随机地断开。这会迫使网络学习到更加稳健的特征表示，因为它不能依赖于任何单个神经元。这样，Dropout 可以防止网络过度依赖某些特征，从而降低过拟合的风险。
在 Test 阶段，通常不使用 Dropout，而是使用所有神经元。为了平衡训练期间的激活值，需要对激活值进行缩放，通常会将激活值乘以（1 – Dropout rate）以保持期望的输出值。
举个苹果
假设我们有一个简单的神经网络，包含一个输入层、一个隐藏层和一个输出层。我们将在隐藏层应用 Dropout。假设 Dropout rate 为 0.5，即隐藏层中 50% 的神经元将在每次训练迭中被随机关闭。
- 输入层（3 个神经元）：假设输入数据为 [x1,x2,x3]
- 隐藏层（4 个神经元）：[h1,h2,h3,h4]
- 输出层（2 个神经元）：[o1,o2]
在每次训练迭代中，我们首先进行正常的前向传播计算。在计算隐藏层的激活值时，我们将应用 Dropout。
例如，我们随机选择 50% 的神经元关闭，选择关闭 h2 和 h4。我们将它们的激活值设为 0
[h1,0,h3,0]
接下来，我们使用这些激活值计算输出层的值。在反向传播过程中，我们根据误差更新权重，但对于关闭的神经元（这里是 h2 和 h4），权重更新会被忽略。
在下一次迭代中，我们可能会选择另一组神经元进行关闭，例如 和 ：
[0,h2,0,h4]
重要的是要注意，在测试或评估阶段，我们不会应用 Dropout。为了保持期望的输出值，我们需要对激活值进行缩放。在这个例子中，我们将激活值乘以（1 – Dropout rate）= 0.5：
[0.5 * h1,0.5 * h2,0.5 * h3,0.5 * h4]
这样，在测试或评估阶段，网络的输出值将与训练阶段保持一致。
以上就是一个简单的神经网络中应用 Dropout 的计算过程示例。需要注意的是，实际应用中的神经网络可能会更复杂，包含多个隐藏层和更多的神经元。但基本原理和计算过程是相似的。