14 暂退法（Dropout）
14.1 动机
- 一个好的模型需要对输入数据的扰动鲁棒（健壮性）
14.2 加入噪音的原则
对 \(\mathbf {x}\) 加入噪音得到 \(\mathbf {x}^{\prime}\), 我们希望 \[\mathbb{E}\left[\mathbf{x}^{\prime}\right]=\mathbf{x}\]
14.3 使用丢弃法 (Dropout)
- 丢弃法对每个元素作如下扰动 \[ x^{\prime}_i= \left\{ \begin{split} &0 &\quad\text{with probability }p\\ &\frac{x_i}{1-p}&\quad\text{otherise} \end{split} \right. \]
14.3.1 总结
- 丢弃法将一些输出项随机置0来控制模型复杂度
- 常作用在多层感知机的隐藏层输出上
- 丢弃概率是控制模型复杂度的超参数（常取0.9，0.5，0.1）