数值计算之 最小二乘法（1）最小二乘计算与矩阵
- 前言
- 最小二乘法与线性方程组
- 最小二乘解与矩阵计算
- 总结
前言
本篇开启一个非常重要的内容，最小二乘法。它在方程组求解、多视图几何计算、线性优化等方面具有广泛的应用。
本节是最小二乘法的第一部分，将最小二乘与线性代数关联。
最小二乘法与线性方程组
最小二乘法的起源
在数值计算拟合法中已经提到过，最小二乘法最早用于数据拟合：
arg min
f
(
x
)
∑
i
=
0
n
(
f
(
x
i
)
−
y
i
)
2
\argmin_{f(x)} \sum_{i=0}^n (f(x_i)-y_i)^2
f(x)argmini=0∑n(f(xi)−yi)2
非齐次线性方程组
现在考虑下面这个线性方程组：
{
x
1
+
x
2
=
0
x
1
+
2
x
2
=
2
2
x
1
+
3
x
2
=
3
\begin{cases} x_1+x_2=0 \\ x_1+2x_2=2 \\ 2x_1+3x_2=3 \\ \end{cases}
⎩⎪⎨⎪⎧x1+x2=0x1+2x2=22x1+3x2=3
由非齐次线性方程组的秩与解的关系，上面的线性方程组的稀疏矩阵和增广矩阵有
r
a
n
k
(
A
)
<
r
a
n
k
(
A
,
b
)
rank(A)
