图说幂法求特征值和特征向量

幂法是一种计算矩阵主特征值及对应特征向量的迭代方法。

原理很简单：矩阵乘任一向量（非特征向量），可将向量往主特征向量的方向“拉扯”。

如图中坐标原点是两条粗蓝线的交点，红色的向量是[1, - 0.8]’。

矩阵A=[1.1 , 0.3 ;  1.8, 1.4 ] 作用在空间上,使得空间伸缩旋转,相对于上图,本图中红色的向量也跟着转了,A*x=[0.86,0.68]’ ,不过在新的变换后的坐标系下,仔细看值还是[1, -0.8]’ 。

再用A乘,即A*A*x=A2x，空间及红色的向量进一步扭转。

再在原坐标系下看，多次变换后，即A的n次方后，红色的向量会趋近于主特征向量方向。

A的特征向量是图中的绿线。上图的红色向量经过n次A乘后，就很接近长的绿色的特征向量了。

从代数上来讲，也很容易得出此结论，（因λ1>λ2，λ1的n次方>>λ2的n次方），此处略。

再用图示补充一下空间变换、特征值、特征向量的概念，如图（先不考虑红色的向量）

单位圆上的向量（黑色点表示），

经A变换后，或者说都被A乘后，就变成绿色的向量(点)。

图中绿色的线是A的特征向量[-1,2]’, [1,3]’。在特征向量的方向上的向量，如粗黑色的向量[-0.3162， -0.9487]’，经A乘后，如下图：

粗黑色的向量，变成蓝色的向量，方向还在特征向量的方向是，只是长度乘了“特征值”2，（这里A的特征值是2和0.5）。

注意，A使得圆变成了椭圆，就是对空间的“线性”变换的结果。图是二维的，正好有两个特征方向上的向量只伸缩，即Ax=λx

颜色一致的方向是特征向量方向。

(2017.12.12绘此图)

看图发现没有？特征向量并没在椭圆的轴上，看下图中轴向上黄色的两个向量，那么椭圆轴上是什么？

问题来了，顺便我把这个矩阵A=[1.1 , 0.3 ;  1.8, 1.4 ]有关的向量都画出来，（看着不晕吧！画的有点乱,但都和A有关系）

因为是“图说”，只简单说明一下图,图上方网格是原来的空间，斜网格是A变换后的空间（为什么叫线性变换、线性代数，网络线还是直的，没弯曲）。

按图中标号，黑色1、2是A的列向量，组成新空间的基向量，也可以看作是由原来的两个单位基向量[1，0]’、[0，1]’变换得到。红色的3是前面讲的任一向量，经A乘后变为红色的向量4；如前所述，绿色的5、6是A的特征向量，蓝色的7是前面讲的特征向量方向上一向量（黑色被覆盖）伸长λ后的向量。  黄色的8及9正在椭圆轴上，它们是矩阵A的左奇异向量u。也画出紫色的10及11，是A的右奇异向量v，矩阵的奇异值分解，和特征值特征向量一样都是很重要，应用很广泛的内容。

图中用到下列数据：    

A=[1.1， 0.3 ; 1.8， 1.4 ]

特征向量C=[-1 ，1; 2 ，3],或C=[-0.4472， -0.3162; 0.8944， -0.9487]

特征值D=[0.5 ， 0; 0，  2]

奇异值s =[ 2.5184 ， 0;   0  ， 0.3971]

奇异向量u =[  -0.4298， -0.9029;  -0.9029 ， 0.4298]

v =[  -0.8331 ， -0.5531;  -0.5531 ， 0.8331]

下面再换点颜色绘图：

来源：康建科学网博客