奇异值分解（SVD）的定义、证明、求法（矩阵分解——3. 奇异值分解（SVD））
〇. 前言
1、本文介绍奇异值分解（SVD）的定义、证明、求法。
2、看懂本文只需了解本科阶段线性代数中线性方程组的解、施密特正交化、矩阵的秩、线性相关/无关、对称矩阵对角化、正定（半正定）、向量空间的知识，无需任何其他知识。
3、本文仅考虑实数，不考虑复数。
4、本文使用细体小写字母 x 表示标量，粗体小写字母 \pmb{x} 表示列向量，粗体大写字母 \pmb{A} 表示矩阵。
5、有一个网页版的octave，语法与matlab几乎一样，大家可以验证自己算的结果是否正确。
一. 三个预备知识
我们先给出三个下文证明会用到的关于秩、半正定、基扩充的性质。
1.1 矩阵转置的秩
R(\pmb{A}^T\pmb{A}) = R(\pmb{A}\pmb{A}^T) = R(\pmb{A}) = R(\pmb{A}^T) \\\\ \tag{1}
证明：
对于 R(\pmb{A}^T\pmb{A})=R(\pmb{A}) ，证明见《工程数学线性代数 同济大学第六版》P102 例15[1]。
对于 R(\pmb{A}^T) = R(\pmb{A}) ，证明见《工程数学线性代数 同济大学第六版》P67 倒数第二段文字[2]
证毕。
1.2 半正定
\forall \pmb{A}_{m \times n}，\pmb{A}^T\pmb{A}是半正定矩阵。\\\\ \tag{2}
证明：
对任意 n 维非零列向量 \pmb{x}_{n \times 1} \neq \pmb{0}_{n \times 1} ，任意 m \times n 矩阵 \pmb{A}_{m \times n} ，有
\begin{aligned} \pmb{x}^T\pmb{A}^T\pmb{A}\pmb{x}&= (\pmb{A}\pmb{x})^T(\pmb{A}\pmb{x})\\\\ &=\left\langle\pmb{A}\pmb{x}, \pmb{A}\pmb{x}\right\rangle\\\\ &>=0 \end{aligned} \\\\ \tag{3}
证毕。
1.3 （标准正交）基扩充[3]
\begin{aligned} &设\pmb{a}_1,\pmb{a}_2,\cdots,\pmb{a}_m是n维向量空间 \mathbb{R}^n的标准正交向量组，其中m<n，\\\\ &则一定可以将其扩充为\mathbb{R}^n的标准正交基: \\\\ &\pmb{a}_1, \pmb{a}_2, \cdots, \pmb{a}_m, \pmb{\beta}_{1}, \pmb{\beta}_{2},\cdots, \pmb{\beta}_{n-m} \end{aligned} \\\\ \tag{4}
（注：对于大部分工科生，在本科阶段的线性代数中是学过向量空间[4]的，但并没学过更抽象的线性空间，所以这个性质在这就不证明了，只给出解释。如果你想深入理解，可以看本科数学系高等代数或研究生工科矩阵分析/矩阵论的线性空间、内积空间这两章。视频推荐↓↓↓
）
解释：
我们以 3 维向量空间 \mathbb{R}^3 来解释。通俗一点说，这个性质就是指，如果有 1 个单位向量 \pmb{a}_{ 1} = \begin{pmatrix} a_{1} \\ a_{2} \\ a_{3} \end{pmatrix} ，那么我们可以再添加两个单位向量 \pmb{b}_1, \pmb{b}_2 ，使得这三个向量构成 \mathbb{R}^3 的标准正交基： \pmb{a}_1, \pmb{b}_1, \pmb{b}_2 ；如果有一个标准正交向量组 \pmb{a}_1,\pmb{a}_2 ,那么我们可以再添加一个单位向量 \pmb{b}_1 ，使得这三个向量构成 \mathbb{R}^3 的标准正交基： \pmb{a}_1, \pmb{a}_2, \pmb{b}_1 。
那么，以 1 个单位向量 \pmb{a}_1 为例，我们如何求要添加的单位向量 \pmb{b}_1,\pmb{b}_2 呢，很简单，我们只需要解齐次线性方程组：
\begin{aligned} &\left\{ \pmb{a}_1 ^T \pmb{x} = \pmb{0} \right. \\\\ &\Updownarrow \\\\ &\left\{ a_1x_1 + a_2x_2 + a_3x_3 = 0 \right. \end{aligned} \\\\ \tag{5}
解出基础解系 \pmb{\xi}_1, \pmb{\xi}_2 ，将其进行施密特正交化、标准化，就可得到 \pmb{b}_1,\pmb{b}_2 了。
为什么这样是可以的？因为这个方程组 (5) 式的目的，就是让解出的2个向量满足和 \pmb{a}_1 是正交的；然后再让这2个解出的向量正交化标准化，就完成了。
有同学可能会疑问，这样得出的基础解系中向量的个数一定是2个吗？答案是一定的，我们学过[5]：设 m \times n 矩阵 \pmb{A} 的秩 R(\pmb{A})=r ，则 n 元齐次线性方程组 \pmb{A}\pmb{x}=\pmb{0} 的解集 \pmb{S} 的秩 R_s = n -r ，对应到此例:
n=3, r = R(\pmb{A}) = 1, R_s = n - r = 3- 1 =2 \\\\ \tag{6}
下面给一个例题，进行标准正交基扩充。
例子[6]. 设 \pmb{a}_1 = \begin{pmatrix} \frac{1}{3}\\ -\frac{2}{3} \\ \frac{2}{3} \end{pmatrix} ，求向量 \pmb{b}_1,\pmb{b}_2 ，使 \pmb{a}_1,\pmb{b}_1,\pmb{b}_2 成为 \mathbb{R}^3 的标准正交基。
解：
解 \pmb{a}^T_1 \pmb{x} = \pmb{0} ，得基础解系为
\begin{aligned} \pmb{\xi}_1 = \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix}, \pmb{\xi}_2 = \begin{pmatrix} -2 \\ 0 \\ 1 \end{pmatrix} \end{aligned} \\\\ \tag{7}
施密特正交化、标准化后得
\begin{aligned} \pmb{b}_1 = \begin{pmatrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}} \\ 0 \end{pmatrix}, \pmb{b}_2 = \begin{pmatrix} -\frac{2}{\sqrt{45}} \\ \frac{4}{\sqrt{45}} \\ \frac{5}{\sqrt{45}} \end{pmatrix} \end{aligned} \\\\ \tag{8}
解毕。
解释完毕。
二. 奇异值分解（SVD）的定义、证明
2.1 奇异值分解（SVD）的定义[7]
对于一个秩为 r 的矩阵 \pmb{A}_{m \times n} ，必存在 m \times m 的正交矩阵 \pmb{U}_{m \times m} ， n \times n 的正交矩阵 \pmb{V}_{n \times n} ， m\times n 的矩阵 \pmb{\Sigma}_{m \times n} ，使得
\pmb{A}_{m \times n} = \pmb{U}_{m \times m} \pmb{\Sigma}_{m \times n} \pmb{V}^T_{n \times n} = \pmb{U}_{m \times m} \begin{pmatrix} \pmb{D}_{r \times r} & \pmb{O} \\ \pmb{O} & \pmb{O} \end{pmatrix}_{m \times n} \pmb{V}^T_{n \times n} \\\\ \tag{9}
其中， \pmb{D}_{r \times r} = \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \end{pmatrix}_{r \times r} ， \lambda_1 \geq \lambda_2 \geq... \geq \lambda_r >0 为 \pmb{A}^T\pmb{A} 的 r 个非零特征值（从大到小排列）。 \pmb{A}^T\pmb{A} 的 r 个非零特征值开根号 \sqrt{\lambda_1}, \sqrt{\lambda_2} , \cdots, \sqrt{\lambda_r} （从大到小排列）称为 \pmb{A} 的正奇异值，\pmb{A}^T\pmb{A}的 n 个特征值开根号 \sqrt{\lambda_1}, \sqrt{\lambda_2} , \cdots, \sqrt{\lambda_r},0_1,0_2, \cdots,0_{n-r} （从大到小排列）称为 \pmb{A} 的奇异值。
2.2 奇异值分解（SVD）的证明[8]
证明：
由 1.1 矩阵转置的秩 (1) 式得， \pmb{A}^T\pmb{A} 的秩也是 r 。
由 1.2 半正定 (2) 式得， \pmb{A}^T\pmb{A} 是半正定矩阵，故其 n 个特征值 \lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n 均是非负实数，且秩的数值 r 就是非零特征值的个数，即 \lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_r >0 。
\pmb{A}^T\pmb{A} 是对称矩阵，故 n 个特征值 \lambda_1,\lambda_2,\cdots,\lambda_r , \lambda_{r+1} = 0, \cdots, \lambda_{n} =0 可以产生 n 个标准正交的特征向量，构成 n 维向量空间 \mathbb{R}^n的标准正交基：
\pmb{v}_1, \pmb{v}_2, \cdots,\pmb{v}_r, \pmb{v}_{r+1}, \cdots,\pmb{v}_{n} \\\\ \tag{10} （方法就是本科阶段学的对称矩阵 \pmb{A}^T\pmb{A} 对角化产生正交矩阵的过程[9]）
根据特征值与特征向量的定义，有：
\pmb{A}^T\pmb{A} \pmb{v}_i = \lambda_i \pmb{v}_i \quad ,i =1, 2, \cdots, n \\\\ \tag{11}
考虑 \pmb{A}\pmb{v}_i \quad, i = 1,2, \cdots, n ，有：
\begin{aligned} \left\langle \pmb{A}\pmb{v}_i, \pmb{A}\pmb{v}_j \right\rangle = \pmb{v}_j^T\pmb{A}^T \pmb{A}\pmb{v}_i \end{aligned} \\\\ \tag{12}
将 (10) 式代入 (11) 式，得：
\begin{aligned} \left\langle \pmb{A}\pmb{v}_i, \pmb{A}\pmb{v}_j \right\rangle &= \pmb{v}_j^T\pmb{A}^T \pmb{A}\pmb{v}_i \\\\ &= \lambda_i \pmb{v}_j^T\pmb{v}_i = \left\{ \begin{aligned} &\lambda_i \quad ,1 \leq i = j \leq r \\ &0 \quad , i \neq j 或 i = j > r \end{aligned} \right. \end{aligned} \\\\ \tag{13}
因此， \pmb{A}\pmb{v}_1, \pmb{A}\pmb{v}_2 \cdots,\pmb{A}\pmb{v}_r 是正交向量组，并且，
\begin{aligned} ||\pmb{A}\pmb{v}_i|| = \sqrt{\lambda_i} \quad,i =1,2, \cdots,r\\\\ \pmb{A}\pmb{v}_{r+1} = \cdots = \pmb{A}\pmb{v}_n = \pmb{0} \end{aligned} \\\\ \tag{14}
令
\pmb{u}_i = \frac{1}{\sqrt{\lambda_i}} \pmb{A}\pmb{v}_i = \frac{1}{||\pmb{A}\pmb{v}_i ||} \pmb{A}\pmb{v}_i \quad, i=1, 2,\cdots,r \\\\ \tag{15}
则 \pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r 是 m 维向量空间 \mathbb{R}^m 的标准正交向量组，由 1.3 （标准正交）基扩充 (4) 式得，可以将其扩充为 m 维向量空间 \mathbb{R}^m的标准正交基：
\pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r, \pmb{b}_{1}, \cdots,\pmb{b}_{m-r} \\\\ \tag{16} 我们把 (10) 式、 (14) 式、 (15) 式、 (16) 式合起来写成矩阵的形式：
\begin{aligned} \pmb{A}(\pmb{v}_1, \pmb{v}_2, \cdots,\pmb{v}_r, \pmb{v}_{r+1}, \cdots, \pmb{v}_n) &= (\sqrt{\lambda_1}\pmb{u}_1, \sqrt{\lambda_2}\pmb{u}_2, \cdots,\sqrt{\lambda_r}\pmb{u}_r, \pmb{0}, \cdots, \pmb{0}) \\\\ &= (\pmb{u}_1, \pmb{u}_2, \cdots, \pmb{u}_r, \pmb{b}_1, \cdots, \pmb{b}_{m-r}) \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} & & & {\Large \pmb{O}} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \\ & {\Large \pmb{O}} & & &{\Large \pmb{O}} \end{pmatrix}_{m \times n} \end{aligned} \\\\ \tag{17}
令
\begin{aligned} \pmb{D}_{r \times r} &= \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \end{pmatrix}_{r \times r} ,\\\\ \pmb{U}_{m \times m} &= (\pmb{u}_1, \pmb{u}_2, \cdots, \pmb{u}_r, \pmb{b}_1 , \cdots, \pmb{b}_{m-r})_{m \times m} , \\\\ \pmb{V}_{n \times n} &= (\pmb{v}_1, \pmb{v}_2, \cdots, \pmb{v}_r, \pmb{v}_{r+1} , \cdots, \pmb{v}_{n})_{n \times n} \end{aligned} \\\\ \tag{18}
则 \pmb{U}_{m \times m}, \pmb{V}_{n \times n} 为正交矩阵，代入到 (17) 式，得：
\begin{aligned} \pmb{A}_{m \times n} \pmb{V}_{n \times n} &= \pmb{U}_{m \times m} \begin{pmatrix} \pmb{D}_{r \times r} & \pmb{O} \\ \pmb{O} & \pmb{O} \end{pmatrix}_{m \times n} \\\\ &\Updownarrow \\\\ \pmb{A}_{m \times n} &= \pmb{U}_{m \times m} \begin{pmatrix} \pmb{D}_{r \times r} & \pmb{O} \\ \pmb{O} & \pmb{O} \end{pmatrix}_{m \times n}\pmb{V}^T_{n \times n} =\pmb{U}_{m \times m} \pmb{\Sigma}_{m \times n} \pmb{V}^T_{n \times n} \end{aligned} \\\\ \tag{19}
证毕。
三. 奇异值分解（SVD）的求法
上述 2.2 奇异值分解（SVD）的证明 其实就是我们求奇异值分解的方法，我们总结一下步骤：
第一步：求出 \pmb{A}^T_{m \times n}\pmb{A}_{m \times n} 的 n 个特征值 \lambda_1,\lambda_2, \cdots,\lambda_r , \lambda_{r+1}=0, \cdots, \lambda_{n} = 0 （并按照从大到小排列）和对应的标准正交的特征向量 \pmb{v}_1, \pmb{v}_2, \cdots,\pmb{v}_r,\pmb{v}_{r+1}, \cdots, \pmb{v}_{n} 。
第二步：取标准正交的特征向量构成正交矩阵
\pmb{V}_{n \times n}=(\pmb{v}_1, \pmb{v}_2, \cdots,\pmb{v}_r,\pmb{v}_{r+1}, \cdots, \pmb{v}_{n})_{n \times n} \\\\
取正奇异值，即前 r 个奇异值，即非零特征值开根号 \sqrt{\lambda_1}, \sqrt{\lambda_2}, \cdots,\sqrt{\lambda_r} ，构成对角矩阵
\pmb{D}_{r \times r} = \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \end{pmatrix}_{r \times r} \\\\
添加额外的 0 组成 m \times n 的矩阵
\pmb{\Sigma}_{m \times n} = \begin{pmatrix} \pmb{D}_{r \times r} & \pmb{O} \\ \pmb{O} & \pmb{O} \end{pmatrix}_{m \times n} = \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} & & & {\Large \pmb{O}} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \\ & {\Large \pmb{O}} & & &{\Large \pmb{O}} \end{pmatrix}_{m \times n} 。
第三步：构成前 r 个标准正交向量 \pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r ，其中 \pmb{u}_{i} = \frac{1}{\sqrt{\lambda_i}}\pmb{A}\pmb{v}_i\quad, i = 1, 2, \cdots,r
第四步：按照 1.3 （标准正交）基扩充 的方法，将 \pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r 扩充为 m 维向量空间 \mathbb{R}^m的标准正交基 \pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r, \pmb{b}_{1}, \cdots,\pmb{b}_{m-r} ，组成正交矩阵
\pmb{U}_{m \times m} = (\pmb{u}_1, \pmb{u}_2, \cdots,\pmb{u}_r, \pmb{b}_{1}, \cdots,\pmb{b}_{m-r})_{ m \times m} \\\\
注：在《线性代数及其应用（中文版第五版）》中[6]，用 \pmb{u}_{r+1}, \cdots, \pmb{u}_m 来表示 \pmb{b}_1, \cdots, \pmb{b}_{m -r} ，所以下文我也采用该符号。
第五步：写出即可：
\pmb{A}_{m \times n} =\pmb{U}_{m \times m} \pmb{\Sigma}_{ m \times n} \pmb{V}^T_{n \times n} = \pmb{U}_{m \times m} \begin{pmatrix} \sqrt{\lambda_1} \\ & \sqrt{\lambda_2} & & & {\Large \pmb{O}} \\ & & \ddots \\ & & & \sqrt{\lambda_r} \\ & {\Large \pmb{O}} & & &{\Large \pmb{O}} \end{pmatrix}_{m \times n} \pmb{V}^T_{n \times n} \\\\
注：在《线性代数及其应用（中文版第五版）》中[6]，用符号 \sigma_i = \sqrt{\lambda_i} , i=1, \cdots, n 表示奇异值，所以下文我也采用该符号。
3.1 例子1[6]
求 \pmb{A}_{3 \times 2}=\begin{pmatrix} 1 & -1 \\ -2 & 2 \\ 2 & -2 \end{pmatrix}_{3 \times 2} 的一个奇异值分解。
解：
第一步：
计算 \pmb{A}^T\pmb{A} = \begin{pmatrix} 9 & -9 \\ -9& 9\end{pmatrix} ，其特征值为 \lambda_1 = 18, \lambda_2 = 0 ，对应的标准正交的特征向量为
\pmb{v}_1 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{pmatrix}, \pmb{v}_2 = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} \\\\ \tag{20}
第二步：
取第一步中的标准正交的特征向量构成正交矩阵 \pmb{V}
\pmb{V}_{} = (\pmb{v_1}, \pmb{v_2}) = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\ - \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \\\\ \tag{20}
取第一步中的前 1 个奇异值，即 \sigma_1 = \sqrt{\lambda_1} = \sqrt{18} = 3\sqrt{2} 且添加额外的 0 构成 3\times 2 的矩阵 \Sigma
\pmb{\Sigma}=\begin{pmatrix} 3\sqrt{2} & 0 \\ 0 & 0 \\ 0 & 0 \end{pmatrix} \\\\ \tag{21}
第三步：
构造前 1 个标准正交向量 \pmb{u}_i = \frac{1}{\sigma_i} \pmb{A}\pmb{v}_i = \frac{1}{\sqrt{\lambda_i}} \pmb{A}\pmb{v}_i
\pmb{u}_1= \frac{1}{\sigma_1} \pmb{A}\pmb{v}_1 = \frac{1}{\sqrt{\lambda_1}} \pmb{A}\pmb{v}_1 = \frac{1}{3\sqrt{2}} A\pmb{v}_1 = \begin{pmatrix} \frac{1}{3} \\ -\frac{2}{3} \\ \frac{2}{3} \end{pmatrix} \\\\ \tag{22}
第四步：
将 \pmb{u}_1 扩充为 \mathbb{R}^3 的标准正交基，这个数值就是我们在 1.1 （标准正交）基扩充 中给的例题，即 (8) 式，所以有
\begin{aligned} \pmb{u}_2 = \pmb{b}_1 = \begin{pmatrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}} \\ 0 \end{pmatrix},\quad \pmb{u}_3 =\pmb{b}_2 = \begin{pmatrix} -\frac{2}{\sqrt{45}} \\ \frac{4}{\sqrt{45}} \\ \frac{5}{\sqrt{45}} \end{pmatrix} \end{aligned} \\\\ \tag{23}
取 \pmb{u}_1, \pmb{u}_2, \pmb{u}_3 构成正交矩阵 \pmb{U}
\pmb{U} = (\pmb{u}_1, \pmb{u}_2, \pmb{u}_3) = \begin{pmatrix} \frac{1}{3} & \frac{2}{\sqrt{5}} & -\frac{2}{\sqrt{45}} \\ -\frac{2}{3} & \frac{1}{\sqrt{5}} & \frac{4}{\sqrt{45}}\\ \frac{2}{3} & 0 & \frac{5}{\sqrt{45}} \end{pmatrix} \\\\ \tag{24}
第五步：
写出即可
\pmb{A} =\pmb{U} \pmb{\Sigma} \pmb{V}^T = \begin{pmatrix} \frac{1}{3} & \frac{2}{\sqrt{5}} & -\frac{2}{\sqrt{45}} \\ -\frac{2}{3} & \frac{1}{\sqrt{5}} & \frac{4}{\sqrt{45}}\\ \frac{2}{3} & 0 & \frac{5}{\sqrt{45}} \end{pmatrix} \begin{pmatrix} 3\sqrt{2} & 0 \\ 0 & 0 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} \\\\ \tag{25}
解毕。
3.2 例子2[10]
求 \pmb{A}_{2 \times 3}=\begin{pmatrix} 4 & 11 & 14 \\ 8 & 7 & -2 \\ \end{pmatrix}_{2 \times 3} 的一个奇异值分解。
解：
第一步：
计算 \pmb{A}^T\pmb{A} = \begin{pmatrix} 80 & 100 & 40 \\ 100& 170 &140 \\40 & 140 & 200 \end{pmatrix} ，其特征值为 \lambda_1 = 360, \lambda_2 = 90, \lambda_3 = 0 ，对应的标准正交的特征向量为
\pmb{v}_1 = \begin{pmatrix} \frac{1}{3} \\ \frac{2}{3} \\ \frac{2}{3} \end{pmatrix}, \pmb{v}_2 = \begin{pmatrix} -\frac{2}{3} \\ -\frac{1}{3} \\ \frac{2}{3} \end{pmatrix}, \pmb{v}_3 = \begin{pmatrix} \frac{2}{3} \\ -\frac{2}{3} \\ \frac{1}{3} \end{pmatrix} \\\\ \tag{26}
第二步：
取第一步中的标准正交的特征向量构成正交矩阵 \pmb{V}
\pmb{V}_{} = (\pmb{v_1}, \pmb{v_2}, \pmb{v_3}) =\begin{pmatrix} \frac{1}{3} & -\frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & -\frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} & \frac{2}{3} & \frac{1}{3} \end{pmatrix} \\\\ \tag{27}
取第一步中的前 2 个奇异值，即 \sigma_1 = \sqrt{\lambda_1} = 6\sqrt{10}, \sigma_2 = \sqrt{\lambda_2} = 3\sqrt{10} 且添加额外的 0 构成 2\times 3 的矩阵 \Sigma
\pmb{\Sigma}=\begin{pmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0\\ \end{pmatrix} \\\\ \tag{28}
第三步：
构造前 2 个标准正交向量 \pmb{u}_i = \frac{1}{\sigma_i} \pmb{A}\pmb{v}_i = \frac{1}{\sqrt{\lambda_i}} \pmb{A}\pmb{v}_i
\begin{aligned} \pmb{u}_1&= \frac{1}{\sigma_1} \pmb{A}\pmb{v}_1 = \frac{1}{\sqrt{\lambda_1}} \pmb{A}\pmb{v}_1 = \frac{1}{6\sqrt{10}} A\pmb{v}_1 = \begin{pmatrix} \frac{3}{\sqrt{10}} \\ \frac{1}{\sqrt{10}} \end{pmatrix} \\\\ \pmb{u}_2&= \frac{1}{\sigma_2} \pmb{A}\pmb{v}_2 = \frac{1}{\sqrt{\lambda_2}} \pmb{A}\pmb{v}_2 = \frac{1}{3\sqrt{10}} A\pmb{v}_2 = \begin{pmatrix} \frac{1}{\sqrt{10}} \\ -\frac{3}{\sqrt{10}} \end{pmatrix} \end{aligned} \\\\ \tag{29}
第四步：
因为 \pmb{u}_1, \pmb{u}_2 已经是 \mathbb{R}^2 的标准正交基，无需再扩充。
取 \pmb{u}_1, \pmb{u}_2 构成正交矩阵 \pmb{U}
\pmb{U} = (\pmb{u}_1, \pmb{u}_2) = \begin{pmatrix} \frac{3}{\sqrt{10}} & \frac{1}{\sqrt{10}} \\ \frac{1}{\sqrt{10}} & -\frac{3}{\sqrt{10}} \end{pmatrix} \\\\ \tag{30}
第五步：
写出即可
\pmb{A} =\pmb{U} \pmb{\Sigma} \pmb{V}^T = \begin{pmatrix} \frac{3}{\sqrt{10}} & \frac{1}{\sqrt{10}} \\ \frac{1}{\sqrt{10}} & -\frac{3}{\sqrt{10}} \end{pmatrix} \begin{pmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0\\ \end{pmatrix} \begin{pmatrix} \frac{1}{3} & \frac{2}{3} & \frac{2}{3}\\ -\frac{2}{3} & -\frac{1}{3} & \frac{2}{3}\\ \frac{2}{3} & -\frac{2}{3} & \frac{1}{3} \end{pmatrix} \\\\ \tag{31}
解毕。
四. 完
本文到这里就结束了，欢迎大家点赞、关注、收藏、转发噢~
矩阵分解系列其他文章：
正交三角（QR）分解的定义、证明、求法（矩阵分解——2. 正交三角（QR）分解） - Iterator的文章 - 知乎
满秩分解的定义、证明、求法（矩阵分解——1. 满秩分解） - Iterator的文章 - 知乎
