3  线性代数 (矩阵计算)

3.1 线性代数

  • 标量
    • 标量的运算
    • 标量的范数 (Norme)
  • 向量

    • 向量的运算:

      • 向量加法
      • 向量的 标量积 (Scalar Product) / 点积 (Dot Product) / 内积 (Inner Product)

        • torch.dot(x,y)

        • 等价于 torch.sum(x * y)

    • 标量的范数 (Norme)

      • \(L_2\) 范数 torch.norm(x)

      • \(L_1\) 范数 torch.abs(x).sum()

  • 矩阵

    • 矩阵的运算

      • 矩阵的乘法 (反映了空间的映射)

        • 矩阵乘向量 (Matrix Vector multiplication) torch.mv(A,x)

        • 矩阵乘矩阵 torch.mm(A,B)

      • 矩阵的 哈达玛积 (两个纬度相同的矩阵, 对应元素的乘积)

    • 矩阵的范数

      • 定义 \[c=A\cdot b \quad \text{hence}\quad ||c||\leqslant ||A||\cdot||b||\]
        • 取决于如何衡量 \(b\) 和 \(c\) 的长度
      • 常见范数 F-范数 (Frobenius norm) \[{||X||}_{F}=\sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n} x^2_{ij} }\]
        • torch.norm()

    • 特殊的矩阵

      • 对称矩阵, 反对称
      • 正定矩阵
      • 正交矩阵
      • 置换矩阵

    • 特征向量 与 特征值 \[Ax=\lambda x\]

3.2 矩阵计算

  • 标量导数
  • 亚导数
    • 例如, \(y=|x|\)
  • 向量
    • 梯度 (Gradient )