K-L 变换

在机器学习学习中若存在维度过高的向量，则不利于分析向量的样本的方差与均值

原理分析

K-L变换的本质是寻找一个算子$U$，通过$Y=UX$，其中$Y$为$X$降维后的结果。

存在一个样本集X={x1,x2,x3,…,xn}X=\{x_1,x_2,x_3,\dots,x_n\}X={x1​,x2​,x3​,…,xn​}，其中$x_i$为$n$维向量，为了使{X}\{X\}{X}降低维度

设存在一个线性变换$U$，使得$ y_i=U x_i$，其中$y_i$为$k$维向量，

为了使$Y$各个特征最大的限度分开，我们应该从中$n$个特征中选择$k$个最大限度可分不重叠的特征。其中各个线性可分的特征应该是不相关的，即他们的相关系数为0。可推出它的协方差为0。

相关系数：
$${\rho }_{xy}=\frac{Cov(X,Y)}{{\sigma }_x{\sigma }_y}$$
协方差矩阵：
$$E_{ij}=\frac{1}{m}(x_i-\bar{x})(y_j-\bar{y})$$

$$E=\left[\begin{array}{cccc}{E}_{11}& E_{12}& \dots & E_{1n}\\ E_{21}& E_{22}& \dots & E_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ E_{n1}& E_{n2}& \dots & E_{nn}\end{array}\right]$$

**目标：**将一组 $n$ 维向量降为 $k$ 维，其目标是选择 $k$个单位正交基，使得原始数据变换到这组基上后，各变量两两间协方差为 0，而变量方差则尽可能大。

因为$Y$的特征要尽可能的无关，则$E_{ij}=0,i\ne j$

由此$Y$的相关系数矩阵为一个对角矩阵
$$E=E(y{y}^T)=E(UX{X}^{T}U)$$
其中$X{X}^T$为实对称矩阵，它一定存在$n$个特征向量，且相互可以正交。

令$$W=E(X{X}^T)$$，则一定满足$W\eta =\lambda \eta$，$\eta$与$\lambda$分别为特征向量与特征值，取前$k$大的特征值对于的特征向量，并进行归一化，记为$U$
$$UW{U}^T=\left[\begin{array}{ccccc}{\lambda }_1& & & & \\ & {\lambda }_2& & & \\ & & \ddots & & \\ & & & {\lambda }_n& \end{array}\right]$$

即通过K-L变换，实际上是找到了一个新的坐标系，在这个坐标系中，数据的协方差矩阵是对角的，而且对角线上的元素是原始数据协方差矩阵的特征值，这些特征值对应的特征向量则构成了新坐标系的基向量。

步骤

1. 计算 $X{X}^T$的协方差矩阵$E(X{X}^T)$，并记为$W$
2. 计算$W$的特征值与特征向量
3. 取前$k$大的特征值对于的特征向量，并进行归一化，记为$U$
4. 利用$x_i^{\prime }=U{x}_i$进行降维度处理

示例

有样本集$w_1=\left\{\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}1\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}1\\ 0\\ 1\end{array}\right),\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)\right\}$,$w_2=\left\{\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right),\left(\begin{array}{c}0\\ 1\\ 0\end{array}\right),\left(\begin{array}{c}0\\ 1\\ 1\end{array}\right),\left(\begin{array}{c}1\\ 1\\ 1\end{array}\right)\right\}$,请用K-L变换将特征降至2维和1维，并画出在该空间中的位置

1、计算样本均值

$w_1$的均值$u_1=(\frac{3}{4},\frac{1}{4},\frac{1}{4}{)}^T$

$w_2$的均值$u_2=(\frac{1}{4},\frac{3}{4},\frac{3}{4}{)}^T$

总体样本的均值$u=\frac{1}{2}(u_1+u_2)=(\frac{1}{2},\frac{1}{2},\frac{1}{2}{)}^T$

2、去中心化
$$w_1-u=\left\{\left(\begin{array}{c}-\frac{1}{2}\\ -\frac{1}{2}\\ -\frac{1}{2}\end{array}\right),\left(\begin{array}{c}\frac{1}{2}\\ -\frac{1}{2}\\ -\frac{1}{2}\end{array}\right),\left(\begin{array}{c}\frac{1}{2}\\ -\frac{1}{2}\\ \frac{1}{2}\end{array}\right),\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\\ -\frac{1}{2}\end{array}\right)\right\}$$

$$w_2-u=\left\{\left(\begin{array}{c}-\frac{1}{2}\\ -\frac{1}{2}\\ \frac{1}{2}\end{array}\right),\left(\begin{array}{c}-\frac{1}{2}\\ \frac{1}{2}\\ -\frac{1}{2}\end{array}\right),\left(\begin{array}{c}-\frac{1}{2}\\ \frac{1}{2}\\ \frac{1}{2}\end{array}\right),\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\\ \frac{1}{2}\end{array}\right)\right\}$$

令X={w1−u,w2−u}X=\{w_1-u,w_2-u\}X={w1​−u,w2​−u}
$$E(X{X}^T)=\frac{1}{8}\sum x_i{x}_i^T=\left[\begin{array}{ccc}\frac{1}{4}& 0& 0\\ 0& \frac{1}{4}& 0\\ 0& 0& \frac{1}{4}\end{array}\right]$$
计算特征值与特征向量
$${\lambda }_1={\lambda }_2={\lambda }_3=\frac{1}{4},[{\eta }_1,{\eta }_2,{\eta }_3]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
选取$U_1=[{\eta }_1,{\eta }_2]=\left[\begin{array}{cc}1& 0\\ 0& 1\\ 0& 0\end{array}\right],U2=[{\eta }_1]=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$
$$\begin{gathered} x_1^{\prime }=U_1^T{x}_1=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right]\cdot \left[\begin{array}{c}-\frac{1}{2}\\ -\frac{1}{2}\\ -\frac{1}{2}\end{array}\right]=\left[\begin{array}{c}-\frac{1}{2}\\ -\frac{1}{2}\end{array}\right] \\ {x}_1^{{}^{\prime \prime }}=U_2^T{x}_1=\left[\begin{array}{ccc}1& 0& 0\end{array}\right]\cdot \left[\begin{array}{c}-\frac{1}{2}\\ -\frac{1}{2}\\ -\frac{1}{2}\end{array}\right]=-\frac{1}{2} \end{gathered}$$
其余同理可得。

import numpy as np

# 样本数据
w1 = np.array([[0, 0, 0], [1, 0, 0], [1, 0, 1], [1, 1, 0]])
w2 = np.array([[0, 0, 1], [0, 1, 0], [0, 1, 1], [1, 1, 1]])

u = (w1.mean(axis=0) + w2.mean(axis=0)) / 2

x1 = w1 - u
x2 = w2 - u
x = np.zeros((3, 3))

for i in x1:
    i = i.reshape(3, -1)
    x = x + i @ i.T

for i in x2:
    i = i.reshape(3, -1)
    x = x + i @ i.T

x = x / 8

lambda_value, vector = np.linalg.eigh(x)

U2d = vector[:2]
U1d = vector[0]

x2d_1 = (U2d @ x1.T).T
x2d_2 = (U2d @ x2.T).T

x1d_1 = (U1d @ x1.T).T
x1d_2 = (U1d @ x2.T).T