如何理解特征值和特征向量

学完线性代数的同学,可能会对线性代数的很多概念有所疑惑.

这个东西有什么用?那个玩意定义出来有什么意义?

本文将探讨线性代数中及其重要的两个概念:特征值与特征向量.

(PS:下文中的矩阵A$A$均认为是方阵)

---

矩阵不单单是二维的数组,它更重要的角色是映射:y⃗=Ax⃗$\overrightarrow{y}=A\overrightarrow{x}$

y⃗=Ax⃗$\overrightarrow{y}=A\overrightarrow{x}$就相当于y⃗=f(x⃗)$\overrightarrow{y}=f(\overrightarrow{x})$,矩阵A$A$是把向量x⃗$\overrightarrow{x}$映射到向量y⃗$\overrightarrow{y}$的一个函数,或者说,映射,算子.

---

从一般的角度看,这个映射无非就是矩阵乘向量,说得具体一点,就是n次的向量点积计算.

(矩阵的一行乘上向量,并对结果向量的所有元素求和,就是一次点积)

错!实际上,这个映射本质是一个缩放操作.

---

举一个简单的例子,矩阵A=(43−2−1)$A=\left(\begin{array}{cc}4& -2\\ 3& -1\end{array}\right)$

它的特征值分别是2和1,特征向量是(11)$\left(\begin{array}{c}1\\ 1\end{array}\right)$和(23)$\left(\begin{array}{c}2\\ 3\end{array}\right)$.

设向量x⃗=(12)$\overrightarrow{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)$,那么显然结果y⃗=Ax⃗=(01)$\overrightarrow{y}=A\overrightarrow{x}=\left(\begin{array}{c}0\\ 1\end{array}\right)$.

---

我们使用另一种方法计算,首先我们将x⃗$\overrightarrow{x}$表示成特征向量(11)$\left(\begin{array}{c}1\\ 1\end{array}\right)$和(23)$\left(\begin{array}{c}2\\ 3\end{array}\right)$的线性组合,即:

x⃗=(12)=−1∗(11)+1∗(23)$\overrightarrow{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)=-1\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$

然后,我们将特征值和对应的系数相乘,得到:
y⃗=−1∗2∗(11)+1∗1∗(23)=−2∗(11)+1∗(23)$\overrightarrow{y}=-1\ast 2\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast 1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)=-2\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$

显然,如果你继续计算下去,你也会得到y⃗=(01)$\overrightarrow{y}=\left(\begin{array}{c}0\\ 1\end{array}\right)$

特征值和特征向量的意义就在于此!

矩阵所充当的映射,实际上就是对特征向量的缩放,每个特征向量的缩放程度就是特征值.

因此,我们需要将向量x⃗$\overrightarrow{x}$表示成特征向量的线性组合(相当于以特征向量为基),得到相应的特征向量的权重.

然后,每个权重与特征值相乘,就是这个映射最本质的缩放操作.

---

基于这样的理解,我们可以很简单地解释很多结论.

---

1.对角化分解

对角化分解实际上就是我们解释特征值含义的过程.

A=PΛP−1$A=P\mathrm{\Lambda }{P}^{-1}$,其中P$P$是由特征向量组成的矩阵,Λ$\mathrm{\Lambda }$是由特征值组成的对角矩阵.

---

在解释对角化分解之前,我们还要先解释矩阵的另一个含义.

对于z⃗=Py⃗$\overrightarrow{z}=P\overrightarrow{y}$,事实上矩阵P$P$还有其他含义,比如在这里有转换基向量的含义:

• y⃗$\overrightarrow{y}$是特征向量为基所表示的向量,上文y⃗=−2∗(11)+1∗(23)$\overrightarrow{y}=-2\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$,那么y⃗$\overrightarrow{y}$在特征向量为基的表示是y⃗=(−21)$\overrightarrow{y}=\left(\begin{array}{c}-2\\ 1\end{array}\right)$

• z⃗$\overrightarrow{z}$则是坐标轴为基所表示的向量,假如z⃗$\overrightarrow{z}$的表示为z⃗=(01)$\overrightarrow{z}=\left(\begin{array}{c}0\\ 1\end{array}\right)$,相当于z⃗=0∗(10)+1∗(01)$\overrightarrow{z}=0\ast \left(\begin{array}{c}1\\ 0\end{array}\right)+1\ast \left(\begin{array}{c}0\\ 1\end{array}\right)$

那么z⃗=Py⃗$\overrightarrow{z}=P\overrightarrow{y}$的含义就是把一个向量从特征向量为基的表示y⃗$\overrightarrow{y}$,转变成以坐标轴为基的表示z⃗$\overrightarrow{z}$.

相应,y⃗=P−1x⃗$\overrightarrow{y}=P^{-1}\overrightarrow{x}$的含义则相反,是把一个向量从坐标轴为基的表示x⃗$\overrightarrow{x}$,转变成以特征向量为基的表示y⃗$\overrightarrow{y}$.

---

那么y⃗=Ax⃗=PΛP−1x⃗$\overrightarrow{y}=A\overrightarrow{x}=P\mathrm{\Lambda }{P}^{-1}\overrightarrow{x}$,我们就可以解释了.

首先,P−1x⃗$P^{-1}\overrightarrow{x}$是将x⃗$\overrightarrow{x}$转变成用特征向量表示,上文x⃗=(12)=−1∗(11)+1∗(23)$\overrightarrow{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)=-1\ast \left(\begin{array}{c}1\\ 1\end{array}\right)+1\ast \left(\begin{array}{c}2\\ 3\end{array}\right)$,就是把(12)$\left(\begin{array}{c}1\\ 2\end{array}\right)$变成了(−11)$\left(\begin{array}{c}-1\\ 1\end{array}\right)$.

然后ΛP−1x⃗$\mathrm{\Lambda }{P}^{-1}\overrightarrow{x}$,就是对应的特征值与权重作乘法,得到(−21)$\left(\begin{array}{c}-2\\ 1\end{array}\right)$.

最后y⃗=PΛP−1x⃗$\overrightarrow{y}=P\mathrm{\Lambda }{P}^{-1}\overrightarrow{x}$,就是把(−21)$\left(\begin{array}{c}-2\\ 1\end{array}\right)$重新转换成坐标轴为基的表示,得到(01)$\left(\begin{array}{c}0\\ 1\end{array}\right)$.

---

2.逆矩阵的特征值分别是原矩阵特征值的倒数

是因为原矩阵放大了2倍,逆矩阵就要相应地缩小到原本的12$\frac{1}{2}$.

当然,特征向量要保持对应,因此这也解释了为什么逆矩阵的特征向量和原矩阵一样

---

3.特征值为0,意味着不可逆

参考第2点,0没有倒数.

---

4.通过解Ax⃗=λx⃗$A\overrightarrow{x}=\lambda \overrightarrow{x}$来寻找特征值

显然,在这里λ$\lambda$是特征值,x⃗$\overrightarrow{x}$是特征向量.

把x⃗$\overrightarrow{x}$变成以A$A$的特征向量为基来表示的话,那么权重肯定只有1个1,其他都为0,那个1对应的特征向量当然是x⃗$\overrightarrow{x}$本身.

这个时候进行缩放,那么只有x⃗$\overrightarrow{x}$的权重被缩放了,其他特征向量的权重都是0,0乘任何数为0.

那么,Ax⃗$A\overrightarrow{x}$的结果就相当于λx⃗$\lambda \overrightarrow{x}$了,因为λx⃗$\lambda \overrightarrow{x}$就是x⃗$\overrightarrow{x}$作了相应的缩放,缩放因子就是特征值λ$\lambda$.