机器学习中的求导

2019/06/01 ML

机器学习中求导往往是标量关于权重向量或矩阵的导数,在约定向量为列向量的情况下,采用分母布局可以使得偏导数向量的各元素与原向量各个元素相对应,可以直接执行各种基于梯度的优化方法。

在分母布局下, 对标量求导,结果的形式都要转置;而标量对向量和矩阵求导则位置保持不动。这样总结方便我们记忆。

参考

Search

    Post Directory