梯度、雅克比矩阵、海森矩阵

介绍

---

梯度

1. 表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向变化最快，变化率最大;
2. 对于值为标量的多变量的函数 f(x)，我们使用梯度;

---

雅克比矩阵

1. 如果是值为向量的多变量的函数,使用雅克比矩阵;
2. 梯度和雅克比矩阵都是一种一阶导数（二者针对的函数的值不同）;

---

海森矩阵

1. 一个值为标量的多变量函数的梯度的雅克比矩阵就是二阶导数，也就是Hessian矩阵