梯度、雅可比矩阵与黑塞矩阵

梯度、雅可比矩阵和海森矩阵是微积分中的基本工具，用于分析和优化函数，特别是在机器学习的背景下。一个多变量标量值函数的梯度是一个包含相对于每个变量偏导数的向量，指示最陡峭的上升方向。雅可比矩阵将梯度推广到多变量的向量值函数，包含每个输出分量相对于每个输入变量的所有偏导数。另一方面，海森矩阵是一个标量值函数的二阶偏导数平方矩阵，提供有关函数局部曲率的信息。