梯度下降

梯度下降法或最速下降法是求解无约束最优化问题的一种最常用的方法，具有实现简单的有点，梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量
函数有一阶连续可导

牛顿法与拟牛顿法

牛顿法与拟牛顿法也是求解无约束最优化问题的常用方法，有收敛速度快的优点。牛顿法是迭代算法，每一步需要求解目标函数的黑塞矩阵的逆矩阵，计算比较复杂。
拟牛顿法通过正定矩阵近似黑塞矩阵的逆矩阵或黑塞矩阵，简化了这一计算过程。

牛顿法

拟牛顿法
在牛顿法迭代过程中需要计算黑塞矩阵的逆矩阵，这一计算笔记哦啊复杂，考虑用给一个n阶矩阵Gk来近似替代，这就是拟牛顿法的基本思想。

BFGS
用Gk逼近海森矩阵的逆矩阵，也可以考虑用Bk逼近海森矩阵

broyden类算法