对于最优化问题中的步长α的确定方法分为精确线搜索和非精确线搜索两种。

    精确线搜索需要求出精确Hessian矩阵。而非精确线搜索只需要求出一阶导数即可。下面分别给出精确线搜索和非精确线搜索的算法。

下面我给出一般用的非精确线搜索的方法，Backtracking line search Algorithm。

下面用精确线搜索和非精确线搜索来确定α，以拟牛顿法BFGS在回归中作为例子。下面是实验结果。