矩阵及其运算

贡献者： addis; Giacomo; JierPeter; ACertainUser; .@

预备知识　列向量

　　小时百科中矩阵符号用加粗的正体字母来表示，而对应的矩阵元一般用正常斜体加行标和列标表示。例如矩阵 $A$ 的第 $i$ 行第 $j$ 列的的矩阵元表示为 $A_{i j}$ 。特殊地，行数等于列数的矩阵叫做方矩阵或者方阵。只有一行的矩阵和只有一列的矩阵分别叫做行向量和列向量。

1. 矩阵的概念

　　矩阵本身，是将元素按矩形排列所得到的结构。取 $n$ 行和 $m$ 列，得到 $n m$ 个空位，每个空位都有对应的行数和列数，在这些空位里填入元素，即为元素的矩形排列。被填入的元素，即被称为矩阵的矩阵元素（entry），简称矩阵元。如

\begin{matrix} (1) & (\begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{matrix}) \end{matrix}

就是一个由数字作为矩阵元的矩阵，其第二行第一列的元素为

4

。有一些文献也会用方括号表示矩阵（和向量）如

\begin{matrix} (2) & [\begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{matrix}] . \end{matrix}

　　矩阵概念最早出现于线性方程组中，因此其概念不可避免地涉及矩阵元素之间相乘、相加的运算，即矩阵乘法，见本文子节 7 。事实上，矩阵的威力正来自矩阵的乘法运算，因此即便某个矩阵的元素不是数字，我们也希望这些元素能拿有乘法、加法等运算。目前，我们先默认矩阵的元素都是数字。¹

2. 矩阵的对角线

　　我们先定义矩阵的对角线（diagonal）是行标等于列标的所有矩阵元（图 1 ），称为对角元（diagonal element），左上角的对角元是第一个。对角线的概念常在讨论方阵时使用，但严格来说也适用于长方形矩阵。方阵从右上角到左下角的所有矩阵元则称为反对角线（anti-diagonal）。另外，把对角线向上或向下平移一个元素也称为副对角线（subdiagonal），所以对角线也称为主对角线（main diagonal）。

图 1：左：方阵的对角线（实线）和副对角线（虚线），右：方阵的反对角线

3. 矩阵的转置

　　则任意矩阵 $A$ 的转置（transpose）记为 $A^{T}$ 。转置操作把 $A$ 的第 $i$ 行变为 $A^{T}$ 的第 $i$ 列，相当于把矩阵沿对角线翻转。即任意矩阵元满足

\begin{matrix} (3) & A_{i j}^{T} = A_{j i}, \end{matrix}

注意转置操作不影响对角线上的矩阵元。另外行向量转置后变为列向量，反之亦然。

\begin{matrix} (4) & {(\begin{matrix} x_{1} & x_{2} & \dots & x_{n} \end{matrix})}^{T} = (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{matrix}) . \end{matrix}

为了排版方便，小时百科在正文中通常用

{(\begin{matrix} x_{1} & x_{2} & \dots & x_{n} \end{matrix})}^{T}

表示列向量。

4. 零矩阵、单位矩阵

　　 零矩阵（unit matrix）是所有矩阵元都为 $0$ 的矩阵。

　　 单位矩阵（unit matrix）是对角线上的元素全为 1，非对角线上的元素全为 0 的方阵。通常记为通常记为 $I$ 。为了强调矩阵的维数 $N$ ，也可记为 $I_{N}$ 。单位矩阵的矩阵元可用克罗内克 $δ$ 函数（式 6 ）表示为

\begin{matrix} (5) & I_{i j} = δ_{i j} . \end{matrix}

　　任何矩阵左乘或右乘单位矩阵，仍然得到矩阵本身 $I A = A I = A$ 。

　　单位矩阵的转置仍为单位矩阵 $I^{T} = I$ 。

5. 对角矩阵

　　对角元以外的矩阵元都为零的矩阵叫做对角矩阵（diagonal matrix）（对角元也可以部分为零），相应的也有反对角矩阵（anti-diagonal matrix）。对角矩阵和反对角矩阵通常是指方阵。

　　根据下面矩阵乘法的定义，对角矩阵 $Λ$ 左乘任意矩阵 $A$ （即 $Λ A$ ）相当于把 $A$ 阵的第 $i$ 行乘以 $Λ$ 的第 $i$ 个对角元；右乘（即 $A Λ$ ）相当于把第 $j$ 列乘以第 $j$ 个对角元。另外，两个对角矩阵相乘就是把它们的对角元分别相乘。

6. 矩阵和列向量的乘法

　　矩阵 $A$ 乘以列向量 $x$ 表示从 $(x_{1}, \dots, x_{n}) \in R^{n}$ 到 $(y_{1}, \dots, y_{m}) \in R^{m}$ 的线性映射

\begin{matrix} (6) & {\begin{aligned} y_{1} & = A_{11} x_{1} + A_{12} x_{2} + \dots + A_{1 n} x_{n} \\ y_{2} & = A_{21} x_{1} + A_{22} x_{2} + \dots + A_{2 n} x_{n} \\ ⋮ \\ y_{m} & = A_{m 1} x_{1} + A_{m 2} x_{2} + \dots + A_{m n} x_{n} . \end{aligned} \end{matrix}

令列向量

x = {(\begin{matrix} x_{1} & \dots & x_{n} \end{matrix})}^{T}

，

y = {(\begin{matrix} y_{1} & y_{2} & \dots & y_{m} \end{matrix})}^{T}

，系数矩阵为

A

，上式可用矩阵与列向量的乘法表示为

\begin{matrix} (7) & y = A x . \end{matrix}

或者具体来说，就是

\begin{matrix} (8) & (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{m} \end{matrix}) = (\begin{matrix} A_{11} & A_{12} & \dots & A_{1 n} \\ A_{21} & A_{22} & \dots & A_{2 n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ A_{m 1} & A_{m 2} & \dots & A_{m n} \end{matrix}) (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{matrix}) . \end{matrix}

　　注意 $A$ 的列数必须和 $x$ 的行数相等。由此可以定义矩阵乘以列向量的运算规则： $m \times n$ 矩阵乘以 $n \times 1$ 列向量会得到 $m \times 1$ 的列向量。要计算 $y_{i}$ ，就用 $x_{1} \dots x_{n}$ 与 $m \times n$ 矩阵的第 $i$ 行的 $n$ 个数分别相乘再相加（即内积）

\begin{matrix} (9) & y_{i} = \sum_{j = 1}^{n} A_{i j} x_{j} . \end{matrix}

　　若有 $l$ 个不同的 $x$ 和 $y$ ，第 $k$ 个记为 $x_{k} = {(\begin{matrix} x_{1 k} & \dots & x_{n k} \end{matrix})}^{T}$ 和 $y_{k} = {(\begin{matrix} y_{1 k} & \dots & y_{m k} \end{matrix})}^{T}$ ，对应的变换为

\begin{matrix} (10) & (\begin{matrix} y_{1 k} \\ y_{2 k} \\ ⋮ \\ y_{m k} \end{matrix}) = (\begin{matrix} A_{11} & A_{12} & \dots & A_{1 n} \\ A_{21} & A_{22} & \dots & A_{2 n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ A_{m 1} & A_{m 2} & \dots & A_{m n} \end{matrix}) (\begin{matrix} x_{1 k} \\ x_{2 k} \\ ⋮ \\ x_{n k} \end{matrix}) . \end{matrix}

7. 矩阵的乘法

图 2：矩阵乘法的示意图：

C

的

(i, j)

矩阵元等于

A

的第

i

行和

B

的第

j

列逐个元素相乘再相加

　　矩阵最常见的运算是矩阵的乘法。事实上，上面的 “矩阵乘以列向量” 就是矩阵乘法的一种特殊情况。如果我们分别把同一矩阵乘以多个列向量

\begin{matrix} (11) & y_{i} = A x_{i} (i = 1, \dots, l), \end{matrix}

那么把所有列向量

y_{i}

从左到右排列得到矩阵

Y

，把所有

y_{i}

从左到右排列得到

X

，就得到了矩阵乘法的一般定义

\begin{matrix} (12) & Y = A X . \end{matrix}

其中

X

，

Y

分别为

n \times l

和

m \times l

的矩阵

\begin{matrix} (13) & X = (\begin{matrix} x_{11} & \dots & x_{1 l} \\ ⋮ & ⋱ & ⋮ \\ x_{n 1} & \dots & x_{n l} \end{matrix}), Y = (\begin{matrix} y_{11} & \dots & y_{1 l} \\ ⋮ & ⋱ & ⋮ \\ y_{m 1} & \dots & y_{m l} \end{matrix}) . \end{matrix}

式 12 可以详细写为

\begin{matrix} (14) & (\begin{matrix} y_{11} & \dots & y_{1 l} \\ ⋮ & ⋱ & ⋮ \\ y_{m 1} & \dots & y_{m l} \end{matrix}) = (\begin{matrix} A_{11} & \dots & A_{1 n} \\ ⋮ & ⋱ & ⋮ \\ A_{m 1} & \dots & A_{m n} \end{matrix}) (\begin{matrix} x_{11} & \dots & x_{1 l} \\ ⋮ & ⋱ & ⋮ \\ x_{n 1} & \dots & x_{n l} \end{matrix}) . \end{matrix}

由此，可以定义一般的矩阵乘法：

m \times n

的矩阵

A

和

n \times l

的矩阵

X

相乘得到

m \times l

的矩阵

Y

，

Y_{i j}

等于

A

的第

i

行和

X

的第

j

列内积。

　　计算矩阵的乘法的公式为

\begin{matrix} (15) & Y_{i j} = \sum_{k = 1}^{n} A_{i k} X_{k j} . \end{matrix}

再次注意两个相乘的矩阵，左边矩阵的列数必须等于右边矩阵的行数。我们可以用图 2 来记忆矩阵乘法。

矩阵乘法不满足交换律

　　请注意矩阵一般不满足 “乘法交换律”，即一般情况下 $A B \neq B A$ 。举一个例子：

\begin{matrix} (16) & (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix}) (\begin{matrix} 1 & 0 \\ 1 & 0 \end{matrix}) = (\begin{matrix} 2 & 0 \\ 0 & 0 \end{matrix}) \neq (\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix}) = (\begin{matrix} 1 & 0 \\ 1 & 0 \end{matrix}) (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix}) . \end{matrix}

但我们有时候也可以找到满足交换律的两个矩阵，我们就说这样两个矩阵对易（commute）。

8. 矩阵的乘法分配律

　　矩阵的乘法满足分配律

\begin{matrix} (17) & A (B + C) = A B + A C, \end{matrix}

\begin{matrix} (18) & (A + B) C = A C + B C . \end{matrix}

令式 17 左边等于矩阵

D

，则其矩阵元为

\begin{matrix} (19) & D_{i j} = \sum_{k} A_{i k} (B_{k j} + C_{k j}), \end{matrix}

拆括号得

\begin{matrix} (20) & D_{i j} = \sum_{k} A_{i k} B_{k j} + \sum_{k} A_{i k} C_{k j} . \end{matrix}

而这恰好是

A B + A C

的矩阵元。证毕。式 18 的证明类似。

　　现在我们可以得出线性变换（式 7 ）的一个重要性质。对若干列向量 $v_{1}, v_{2}, \dots$

\begin{matrix} (21) & A (\sum_{i} c_{i} v_{i}) = \sum_{i} c_{i} A v_{i} . \end{matrix}

也就是说若干列向量的线性组合的线性变换等于每个列向量分别进行线性变换再进行同样的线性组合。

9. 矩阵乘法的结合律

　　我们希望证明三个矩阵的乘法满足结合律

\begin{matrix} (22) & A (B C) = (A B) C . \end{matrix}

令

\begin{matrix} (23) & D = A (B C) . \end{matrix}

D

的矩阵元为

\begin{matrix} (24) & D_{i j} = \sum_{l} A_{i l} (B C)_{l j} = \sum_{l} A_{i l} (\sum_{k} B_{l k} C_{k j}), \end{matrix}

拆括号得

\begin{matrix} (25) & D_{i j} = \sum_{k} \sum_{l} (A_{i l} B_{l k} C_{k j}) . \end{matrix}

对

C_{k j}

进行合并同类项，得

\begin{matrix} (26) & D_{i j} = \sum_{k} (\sum_{l} A_{i l} B_{l k}) C_{k j} . \end{matrix}

括号中恰好是

A

乘以

B

所得矩阵的矩阵元

(A B)_{i k}

所以

\begin{matrix} (27) & D_{i j} = \sum_{k} (A B)_{i k} C_{k j} . \end{matrix}

即

\begin{matrix} (28) & D = (A B) C, \end{matrix}

证毕。

10. 逆矩阵

　　详见逆矩阵。记方阵 $M$ 的逆矩阵为 $M^{- 1}$ ，且满足

\begin{matrix} (29) & M^{- 1} M = I . \end{matrix}

其中

I

是单位矩阵。也就是说，任意一个矩阵（或列向量）

A

乘以矩阵

M

再乘以其逆矩阵

M^{- 1}

仍然得到

A

本身。

　　虽然矩阵乘法一般不满足交换律，但矩阵和对应的逆矩阵满足²，即

\begin{matrix} (30) & M M^{- 1} = M^{- 1} M = I . \end{matrix}

　　逆矩阵 $M^{- 1}$ 所代表的线性变换就是 $M$ 代表的线性变换的逆变换，令 $x$ 和 $y$ 为列向量，如果有

\begin{matrix} (31) & y = M x . \end{matrix}

那么我们在等式两边左乘

M^{- 1}

再把等式左右互换，则上式变为

\begin{matrix} (32) & x = M^{- 1} y . \end{matrix}

　　要求逆矩阵，一种简单直接但低效的方法就是先令 $y = (1 0 \dots)^{T}$ ，代入式 3 解线性方程组得 $x$ ，将 $x, y$ 代入式 4 可知 $x$ 就是 $M$ 的第一列，再令 $y = (0 1 0 \dots)^{T}$ ，解线性方程组可得 $M$ 的第二列，以此类推就可以得到完整的 $M$ 。

11. 逆矩阵与转置矩阵的运算律

\begin{matrix} (33) & (A B)^{- 1} = B^{- 1} A^{- 1}, \end{matrix}

\begin{matrix} (34) & (A B)^{T} = B^{T} A^{T} . \end{matrix}

　　证明留作习题。

12. 矩阵的等式性质

　　若 $A = B$ ，那么 $A C = B C$ ，或 $C A = C B .$

　　但是除非 $C$ 可逆，否则该结论反之不成立。 $A C = B C$ 推不出 $A = B .$

　　推论：若 $A B = O$ (零矩阵)，也不能推出 $A = O$ 或 $B = O .$

1. ^ 延伸阅读：指标与求和约定（这是矩阵的另一种表达方式）。
2. ^ 这个定理暂时不证