图

超定线性方程组

   令 $A$ 为 $M\times N$ 的复数矩阵, $ \boldsymbol{\mathbf{x}} $ 和 $ \boldsymbol{\mathbf{y}} $ 为复数列矢量, 当 $M > N$ 时, 以下线性方程组称为超定方程组(只有 $ \boldsymbol{\mathbf{x}} $ 是未知)

\begin{equation} \boldsymbol{\mathbf{y}} = \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}} \end{equation}

   我们把 $ \boldsymbol{\mathbf{y}} $ 和 $ \boldsymbol{\mathbf{A}} $ 拼接成一个 $M\times(N+1)$ 的矩阵, 当这个矩阵的 $M$ 个行矢量中只有小于或等于 $N$ 个线性无关时, 我们只需取所有线性无关的行即可得到非超定的线性方程组.举一个简单的例子,如果第 2 条方程(第 2 行)是第 1 条方程(第 1 行)乘以常数,那么这两条方程中我们只需保留一条即可.

   如果有大于 $N$ 个线性无关的行(由于每行只有 $N+1$ 个元,那么最多只可能有 $N+1$ 个线性无关的行), 那么超定方程无解.为什么?

   但我们仍然可以寻找一个最优的 $ \boldsymbol{\mathbf{x}} $, 使以下误差函数取最小值

\begin{equation} \left\lvert \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}} - \boldsymbol{\mathbf{y}} \right\rvert ^2 = \sum_k \left(\sum_j A_{kj} x_j - y_k \right) \left(\sum_j A_{kj} x_j - y_k \right) ^* \end{equation}

   所以这时一个最小二乘法问题. 令误差函数分别对每个 $ \operatorname{Re} [x_i]$ 和 $ \operatorname{Im} [x_i]$ 求导等于 0, 得

\begin{equation} \sum_j \left(\sum_i A ^\dagger _{ik} A_{kj} \right) x_j = \sum_k A ^\dagger _{ik} y_k \end{equation}
\begin{equation} \boldsymbol{\mathbf{A}} ^\dagger \boldsymbol{\mathbf{A}} \boldsymbol{\mathbf{x}} = \boldsymbol{\mathbf{A}} ^\dagger \boldsymbol{\mathbf{y}} \end{equation}
通常情况下该方程只有一个解, 也就是最小二乘法的解.

   对比式 1 可以发现式 4 只是在左右两侧同时乘以 $ \boldsymbol{\mathbf{A}} $ 的厄米共轭. 所以任何能满足式 1 的解也可以通过式 4 解得.

致读者: 小时物理百科一直以来坚持所有内容免费且不做广告,这导致我们处于日渐严重的亏损状态。长此以往很可能会最终导致我们不得不选择商业化,例如大量广告,内容付费,会员制,甚至被收购。因此,我们鼓起勇气在此请求广大读者热心捐款,使网站得以健康发展。如果看到这条信息的每位读者能慷慨捐助 10 元,我们几天内就能脱离亏损状态,并保证网站能在接下来的一整年里向所有读者继续免费提供优质内容。感谢您的支持。

编辑词条(需要权限) 返回目录 返回主页 捐助项目 © 小时物理百科 保留一切权利