超定线性方程组
Prerequisite 最小二乘法
，线性方程组与矢量空间
令 $A$ 为 $M\times N$ 的复数矩阵，$ \boldsymbol{\mathbf{x}} $ 和 $ \boldsymbol{\mathbf{y}} $ 为复数列矢量，当 $M > N$ 时，以下线性方程组称为超定方程组（只有 $ \boldsymbol{\mathbf{x}} $ 是未知）
\begin{equation}
\boldsymbol{\mathbf{y}} = \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}}
\end{equation}
我们把 $ \boldsymbol{\mathbf{y}} $ 和 $ \boldsymbol{\mathbf{A}} $ 拼接成一个 $M\times(N+1)$ 的矩阵，当这个矩阵的 $M$ 个行矢量中只有小于或等于 $N$ 个线性无关时，我们只需取所有线性无关的行即可得到非超定的线性方程组．举一个简单的例子，如果第 2 条方程（第 2 行）是第 1 条方程（第 1 行）乘以常数，那么这两条方程中我们只需保留一条即可．
如果有大于 $N$ 个线性无关的行（由于每行只有 $N+1$ 个元，那么最多只可能有 $N+1$ 个线性无关的行），那么超定方程无解．为什么？
但我们仍然可以寻找一个最优的 $ \boldsymbol{\mathbf{x}} $，使以下误差函数取最小值
\begin{equation}
\left\lvert \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}} - \boldsymbol{\mathbf{y}} \right\rvert ^2 = \sum_k \left(\sum_j A_{kj} x_j - y_k \right) \left(\sum_j A_{kj} x_j - y_k \right) ^*
\end{equation}
所以这是一个最小二乘法问题．令误差函数分别对每个 $ \operatorname{Re} [x_i]$ 和 $ \operatorname{Im} [x_i]$ 求导等于 0，得
\begin{equation}
\sum_j \left(\sum_i A ^\dagger _{ik} A_{kj} \right) x_j = \sum_k A ^\dagger _{ik} y_k
\end{equation}
即
\begin{equation}
\boldsymbol{\mathbf{A}} ^\dagger \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}} = \boldsymbol{\mathbf{A}} ^\dagger \boldsymbol{\mathbf{y}}
\end{equation}
通常情况下该方程只有一个解，也就是最小二乘法的解．
对比eq. 1 可以发现eq. 4 只是在左右两侧同时乘以 $ \boldsymbol{\mathbf{A}} $ 的厄米共轭．所以任何能满足eq. 1 的解也可以通过eq. 4 解得．