Modenc

外观

3.4* 最小二乘法

约 567 字大约 2 分钟

2026-01-08

一、向量的距离

定义3.4.1

设 VV 是欧式空间，α,β∈V\alpha, \beta \in V，则 α\alpha 到 β\beta 的距离 d(α,β)d(\alpha, \beta) 规定为：

d(α,β)=∣α−β∣d(\alpha, \beta) = |\alpha - \beta|

性质

  1. 对称性：d(α,β)=d(β,α)d(\alpha, \beta) = d(\beta, \alpha)
  2. 正定性：d(α,β)≥0d(\alpha, \beta) \ge 0
  3. 三角不等式：d(α,β)≤d(α,γ)+d(γ,β)d(\alpha, \beta) \le d(\alpha, \gamma) + d(\gamma, \beta)

定义3.4.2

设欧式空间 VV，W⊆VW \subseteq V。若 α∈V\alpha \in V，且 α\alpha 与 WW 中每一个向量正交， 则称向量 α\alpha 与子空间 WW 正交，记为 α⊥W\alpha \perp W。

定理 3.5.1

任取 α∈V\alpha \in V，若存在 β∈W\beta \in W 满足 (α−β)⊥W(\alpha - \beta) \perp W，则对 ∀γ∈W\forall \gamma \in W，均有：

d(α,β)≤d(α,γ)d(\alpha, \beta) \le d(\alpha, \gamma)

示意图：向量的投影 图中展示了向量 α\alpha 向子空间 WW 作投影。β\beta 是 α\alpha 在 WW 上的投影向量， 使得向量 (α−β)(\alpha - \beta) 垂直于平面 WW。对于 WW 内任意其他向量 γ\gamma，α\alpha 到 β\beta 的距离 ∣α−β∣|\alpha - \beta| 是最短的。

二、最小二乘解

定义3.4.3

对于 AX=bAX = b（不相容方程组），它的最小二乘解为满足下式的 x∗x^*：

∣AX−b∣2=d2(AX,b)|AX - b|^2 = d^2(AX, b)

即使 ∑i=1m(ci1ai1+⋯+cimaim−bi)2\sum_{i=1}^m (c_{i1}a_{i1} + \dots + c_{im}a_{im} - b_i)^2 最小。

定理 3.4.1 的应用推导

只需使 (AX∗−b)⊥AX(AX^* - b) \perp AX（其中 AXAX 是系数矩阵列向量生成的子空间）：

⇒(AX∗−b,AX)=0\Rightarrow (AX^* - b, AX) = 0

⇒(AX∗−b)TAX=0\Rightarrow (AX^* - b)^T AX = 0

⇒(AX∗−b)TA=0\Rightarrow (AX^* - b)^T A = 0

⇒ATAX∗=ATb\Rightarrow A^T AX^* = A^T b

定理 3.4.2

设 AX=bAX = b 是不相容方程组，则 ATAX=ATbA^T AX = A^T b 的解就是原方程组的一个最小二乘解。 称 ATAX=ATbA^T AX = A^T b 为原方程组的正规方程（Normal Equation）。

证明：正规方程必有解

考察系数矩阵 ATAA^T A 与增广矩阵 [ATA,ATb][A^T A, A^T b]：

  1. 已知 r(ATA)≤r(ATA,ATb)r(A^T A) \le r(A^T A, A^T b)
  2. 又因为 [ATA,ATb]=AT[A,b][A^T A, A^T b] = A^T [A, b]，所以 r(ATA,ATb)≤r(AT)=r(ATA)r(A^T A, A^T b) \le r(A^T) = r(A^T A)
  3. 综上可知 r(ATA)=r(ATA,ATb)r(A^T A) = r(A^T A, A^T b)，根据线性方程组解的判定定理，正规方程组系数矩阵与增广矩阵的秩相等，则必有解。

定理 3.4.3

设 A∈Rm×n,b∈RmA \in \mathbb{R}^{m \times n}, b \in \mathbb{R}^m。若 r(A)=nr(A) = n，则 AX=bAX = b 有唯一的最小二乘解。

更新日志

2026/1/8 10:28
查看所有更新日志
  • 8796d-update: 第三章于