5  自动微分

• 🖥 视频: 07 自动求导【动手学深度学习v2】,
• 📖 文字: 2.5. 自动微分

• 数学原理
  • 链式法则 (Chain rule) \[y=f(u), u=g(x) \quad \frac{\partial y}{\partial x} = \frac{\partial y}{\partial u}\frac{\partial u}{\partial x}\]
• 计算机
  • 解析解 (联想 Mathematica)
  • 数值解
    • 计算图
      • 将代码分解成操作子
      • 将计算表示成一个无环图 (Undirected Graph)
      • 显示构造
        • Tensorflow / Theano / MXNet
      • 隐示构造
        • PyTorch / MXNet
  • 自动求导的两种模式
    • 链式法则
      • 正向累积 (复杂度高)
      • 反向累积 / 反向传递