本文对 NLMS 作以介绍，如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。

1. 引言

NLMS 即归一化 LMS（Normalized LMS）算法，是 LMS 算法（可参考 自适应滤波器之 LMS 算法）的改进版。在 LMS 算法中，抽头权值的调整量与抽头输入向量成正比。当抽头输入向量比较大的时候，LMS 会遇到梯度噪声放大的问题。为了克服这个问题，可以使用 NLMS 算法，之所以称为 “Normalized”，是因为它使用抽头输入向量的平方欧式范数对抽头权值调整量进行了归一化。

2. 传统的 NLMS 算法

NLMS 算法描述为以下公式：
$$\vec{h}(n+1)=\vec{h}(n)+\mu (n)e(n)\vec{x}(n)\text{\hspace{1em}(1)}$$

可以看出 NLMS 和 LMS 算法的不同之处在于步长：LMS 算法中的步长为一个给定的常数，NLMS 算法中的步长为一个随时间变化的量，且定义为：
$$\mu (n)=\frac{\alpha }{{\vec{x}}^T(n)\vec{x}(n)}=\frac{\alpha }{{\Vert \vec{x}(n)\Vert }^2}\text{\hspace{1em}(2)}$$

为了使算法收敛，$\alpha$ 应该满足：
$$0<\alpha <2\text{\hspace{1em}(3)}$$

实际中，为了避免当 ${\Vert \vec{x}(n)\Vert }^2$ 过小时产生大的步长 $\mu (n)$，可进一步进行修改：
$$\mu (n)=\frac{\alpha }{{\Vert \vec{x}(n)\Vert }^2+c}\text{\hspace{1em}(4)}$$

其中 $c$ 是一个很小的常数。

3. 推导

上一小节直接给出了 NLMS 算法的公式，可以认为它是 LMS 算法的一个很自然的改进版本。当然，它也可以被单独推导出来，这一小节将对推导过程作以介绍（如果读者不感兴趣，可以跳过本小节）。

NLMS 算法是最小扰动原理（the principle of minimal disturbance）的一种表现形式。该原理可以表述如下：

从一次自适应循环到下一次自适应循环中，自适应滤波器的权重向量应该以最小的方式改变，而且受到更新的滤波器的输出所施加的约束。

NLMS 算法的设计准则可以表述为带约束的优化问题：给定抽头输入向量 $\vec{x}(n)$ 和期望响应 $d(n)$，确定更新后的权重向量 $\vec{h}(n+1)$，以使下式的平方欧式范数最小：
$$\delta \vec{h}(n+1)=\vec{h}(n+1)-\vec{h}(n)\text{\hspace{1em}(5)}$$

并受制于以下约束条件：
$${\vec{h}}^T(n+1)\vec{x}(n)=d(n)\text{\hspace{1em}(6)}$$

可以使用拉格朗日乘子法（the method of Lagrange multipliers）解决该带约束的优化问题。根据这个方法，目前这个问题的代价函数可以描述为：
$$J(n)=\Vert \delta \vec{h}(n+1){\Vert }^2+\lambda (d(n)-{\vec{h}}^T(n+1)\vec{x}(n))\text{\hspace{1em}(7)}$$

其中，$\lambda$ 为拉格朗日乘子。$(7)$ 可改写为：
$$J(n)=(\vec{h}(n+1)-\vec{h}(n){)}^T(\vec{h}(n+1)-\vec{h}(n))+\lambda (d(n)-{\vec{h}}^T(n+1)\vec{x}(n))\text{\hspace{1em}(8)}$$

为了寻找使 $J(n)$ 最小化的 $\vec{h}(n+1)$，采用以下步骤：
1). 令 $J(n)$ 对 ${\vec{h}}^T(n+1)$ 求导，并令其值为 $0$:
$$\begin{array}{rl}\frac{\partial J(n)}{\partial {\vec{h}}^T(n+1)}& =2(\vec{h}(n+1)-\vec{h}(n))-\lambda \vec{x}(n)\\ & =0\end{array}\text{\hspace{1em}(9)}$$

可得：
$$\vec{h}(n+1)=\vec{h}(n)+\frac{1}{2}\lambda \vec{x}(n)\text{\hspace{1em}(10)}$$

2). 将上一步的结果代入 $(6)$，以求解 $\lambda$：
$$\begin{array}{rl}d(n)& ={\vec{h}}^T(n+1)\vec{x}(n)\\ & =(\vec{h}(n)+\frac{1}{2}\lambda \vec{x}(n){)}^T\vec{x}(n)\\ & ={\vec{h}}^T(n)\vec{x}(n)+\frac{1}{2}\lambda {\vec{x}}^T(n)\vec{x}(n)\\ & ={\vec{h}}^T(n)\vec{x}(n)+\frac{1}{2}\lambda \Vert \vec{x}(n){\Vert }^2\end{array}\text{\hspace{1em}(11)}$$

可得：
$$\begin{array}{rl}\lambda & =\frac{2(d(n)-{\vec{h}}^T(n)\vec{x}(n))}{\Vert \vec{x}(n){\Vert }^2}\\ & =\frac{2e(n)}{\Vert \vec{x}(n){\Vert }^2}\end{array}\text{\hspace{1em}(12)}$$

3). 结合上述两步的结果，以推导出 $\delta \vec{w}(n+1)$ 的最优值。即由 $(10)$ 和 $(12)$ 可得：
$$\begin{array}{rl}\delta \vec{w}(n+1)& =\vec{h}(n+1)-\vec{h}(n)\\ & =\frac{1}{\Vert \vec{x}(n){\Vert }^2}e(n)\vec{x}(n)\end{array}\text{\hspace{1em}(13)}$$

为了对抽头权向量的增量幅值进行控制，上式可改写为：
$$\begin{array}{rl}\delta \vec{w}(n+1)& =\vec{h}(n+1)-\vec{h}(n)\\ & =\frac{\alpha }{\Vert \vec{x}(n){\Vert }^2}e(n)\vec{x}(n)\end{array}\text{\hspace{1em}(14)}$$

在克服传统 LMS 算法引入的梯度噪声放大问题时，NLMS 算法自身也会引入一些问题。即当抽头输入向量 $\vec{x}(n)$ 特别小时，$(14)$ 中的除法运算可能会出现数值计算困难。为了克服该问题，可将 $(14)$ 可改写为：
$$\vec{h}(n+1)=\vec{h}(n)+\frac{\alpha }{\Vert \vec{x}(n){\Vert }^2+c}e(n)\vec{x}(n)\text{\hspace{1em}(15)}$$

其中 $c$ 是一个很小的常数。

4. 功率归一化的 NLMS 算法

对步长的分子和分母均进行 $M$ 倍的缩放之后，可进一步将 $(15)$ 改写为：
$$\vec{h}(n+1)=\vec{h}(n)+\frac{\alpha /M}{\Vert \vec{x}(n){\Vert }^2/M+c/M}e(n)\vec{x}(n)\text{\hspace{1em}(16)}$$

可以使用 $p(i)$ 近似代替 $\Vert \vec{x}(n){\Vert }^2/M$，其中：
$$p(i)=\beta p(i-1)+(1-\beta ){\left|x(n)\right|}^2,p(-1)=0and0<\beta \le 1\text{\hspace{1em}(17)}$$

可以被解释为输入序列 { x ( n ) } \{x(n)\} {x(n)} 的功率估计，$M$ 表示抽头输入向量 $\vec{x}(n)$ 的长度。$(16)$ 可进一步改写为：
$$\vec{h}(n+1)=\vec{h}(n)+\frac{\alpha }{p(i)+c}e(n)\vec{x}(n)\text{\hspace{1em}(18)}$$

需要注意的是，$(18)$ 中的 $\alpha$ 和 $c$ 是 $(15)$ 中相应值的 $1/M$。

5. 总结

NLMS 是归一化的 LMS 算法，即乘积向量 $e(n)\vec{x}(n)$ 相对于抽头输入向量的平方欧式范数（或输入序列的功率）进行了归一化。可把 NLMS 看作时变步长参数的 LMS。无论对于不相关数据还是相关数据，NLMS 要比标准 LMS 可能呈现出更快的收敛速度。

关于 NLMS 算法的论文可参考 论文笔记之 NLMS，该论文从几何角度对 NLMS 算法进行了介绍，提供了一个较新的理解思路，感兴趣的读者可进一步学习。

6. 参考文献

[1]《数字信号处理理论，算法与实现》(第三版) 作者：胡广书
[2]《自适应滤波器原理》(第五版) 原作者：Simon Haykin
[3]《Fundamentals of Adaptive Filtering》 作者：Ali H. Sayed