前言

Hello！小夥伴！
非常感謝您閱讀海轟的文章，倘若文中有錯誤的地方，歡迎您指出～
 
自我介紹 ଘ(੭ˊᵕˋ)੭
昵稱：海轟
標簽：程序猿｜C++選手｜學生
簡介：因C語言結識編程，隨後轉入計算機專業，有幸拿過一些國獎、省獎…已保研。目前正在學習C++/Linux/Python
學習經驗：紮實基礎 + 多做筆記 + 多敲代碼 + 多思考 + 學好英語！
 
機器學習小白階段
文章僅作為自己的學習筆記 用於知識體系建立以及複習
知其然 知其所以然！

往期文章

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（1）：二階與三階行列式、全排列及其逆序數

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（2）：n階行列式、對換

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（3）：行列式的性質

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（4）：行列式按行（列）展開

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（5）：克拉默法則

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（6）：矩陣的運算

【機器學習｜數學基礎】Mathematics for Machine Learning系列之線性代數（7）：逆矩陣

3.1 矩陣的初等變換

定義

矩陣的初等行變換

1. 對調兩行（對調i，j兩行，記作$r_i{r}_j$）
2. 以數$k\ne 0$乘某一行中的所有元素（第i行乘以k，記作$r_i\times k$）
3. 把某一行所有的元素的k倍加到另一行對應的元素上（第j行的k倍加到第i行上，記作$r_i+k{r}_j$）

列變換同理，對列進行相應的操作（也是上面三種操作）
​
初等行變換、列變換統稱初等變換。
如果矩陣A經過有限次初等行變換變成B，就稱矩陣A與B行等價，記作$A\sim B(r)$

如果矩陣A經過有限次初等列變換變成B，就稱矩陣A與B列等價，記作$A\sim B(c)$

如果矩陣A經過有限次初等變換變成矩陣B，那麼稱矩陣A與B等價，記作$A～B$

注：

後文中使用如下符號代錶行、列變換
 
$A\sim B(r)代錶A通過列變換到B$
$A\sim B(c)代錶A通過列變換到B$

等價具有的性質

矩陣之間的等價關系具有以下性質：

1. 反身性 $A～A$
2. 對稱性 若$A～B$，則$B～A$
3. 傳遞性 若$A～B，B～C$，則$A～C$

矩陣類型

1、行階梯形矩陣

可以畫出一條階梯線，線的下方全為0；
每一個臺階只有一行，臺階數即是非零行的行數，階梯線的豎線後面的第一個元素為非零元，也就是非零行的第一個非零元。

2、行最簡形矩陣

在行階梯形矩陣定義的基礎之上還要求：

• 非零行的第一個非零元為1​
• 且這些非零元所處的列的其他元素為0.

任何矩陣$A_{m\times n}$總可經過有限次初等變換將其變為行階梯形矩陣、行最簡形矩陣。

3、標准形矩陣

對行最簡形矩陣再進行處等列變換，可以得到一種形狀更簡單的矩陣，成為標准形矩陣。
其特點是左上角是一個單比特矩陣，其餘元素均為0.

對於矩陣A，總可以經過一系列初等變換轉化為標准形矩陣F
​
其中r為行階梯形矩陣中非零行的行數。

4、初等矩陣

由單比特矩陣E經過一次初等變換得到的矩陣稱為初等矩陣

有三種初等變換，則有三種初等矩陣，下面以行初等變換為例
​
（1）將單比特矩陣中的第i、j行對調，得初等矩陣

用m階初等矩陣$E_m(i,j)$左乘矩陣A，其中$A=(a_{ij}{)}_{m\ast n}$，得到
​

觀察結果，可以發現最終結果其實就是將A矩陣中第i、j行進行了對調$（r_i{r}_j）$

舉個實際例子（左乘）：
​
對調單比特矩陣的第1、3行

同理，以n階初等矩陣右乘矩陣A，結果就是相對於對矩陣A進行列變換
​
（2）以數$k!=0$乘單比特矩陣的第i行（或第i列），得到初等矩陣
​

可以發現，矩陣$E_m(i(k))$左乘矩陣A，結果就是相對於數k乘以A的第i行

舉個實際例子（左乘）：

單比特矩陣第二行乘以k=2

同理，$E_m(i(k))$右乘A，相當於k乘以A的第i列
​
（3）以k乘E的第j行加到第i行（或k乘以第j列加到第i列），得到初等矩陣

左乘時，相當於把矩陣A的第j行乘k加到第i行上

舉個實際例子（左乘）：

單比特矩陣第3行乘以k=2加到第2行上

同理，右乘時，相當於把矩陣A的第j列乘k加到第i列上

性質

從上面的討論中，可以得出

性質1

設A是一個m*n矩陣

• 對A施加一次初等行變換，相當於在A的左邊乘以相應的m階初等矩陣；
• 對A施加一次初等列變換，相當於在A的右邊乘以相應的n階初等矩陣

初等矩陣都是可逆的，且其逆矩陣都是同一類型的初等矩陣

• $E(i,j{)}^{-1}=E(i,j)$
• $E(i(k){)}^{-1}=E(i(\frac{1}{k}))$
• $E(ij(k){)}^{-1}=E(ij(-k))$

注意

• $E(i(k))是指對單比特矩陣第i行乘以k$
• $E(ij(k))是指單比特矩陣第i行加上第j行乘以k$

實例演示
​
設3階單比特陣E
​
$$E=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

很顯然

• (E)E=E
• E(E)=E
  ​

所以單比特陣的逆矩陣為其本身 即 $E(i,j{)}^{-1}=E(i,j)$

假設對E的第二行乘以2
​
得到$E(i(2))=\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right](i=2，錶示第二行)$

那麼$E(i(2){)}^{-1}=E(i(\frac{1}{2}))=\left[\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{2}& 0\\ 0& 0& 1\end{array}\right]$
​

有
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right]\ast \left[\begin{array}{ccc}1& 0& 0\\ 0& \frac{1}{2}& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]=E$$
​

假設對E的第3行乘以2 再加到第2行上
​

得到$E(ij(2))=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 2\\ 0& 0& 1\end{array}\right](i=2、j=3，分別錶示第2、3行)$

那麼$E(ij(2){)}^{-1}=E(ij(-2))=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& -2\\ 0& 0& 1\end{array}\right]$

有
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& -2\\ 0& 0& 1\end{array}\right]+\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 2\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]=E$$

性質2

方陣A可逆的充分必要條件是存在有限個初等矩陣$P_1,P_2,...P_i,$使得$A=P_1{P}_2...P_i$
​
證明：

先證明充分性：

設$A=P_1{P}_2...P_i$

因為初等矩陣可逆，有限個可逆矩陣的乘積依然可逆

所以A可逆

證必要性：

假設n階方陣A可逆

A通過一系列變換轉換為標准形矩陣F

那麼F也可以通過一系列初等變換轉換為A
​
$$F～A$$

所以
​
$$A=P_1...P_{s}F{P}_{s+1}...P_i$$
​
因為A可逆，$P_1,P_2,...P_i,$也可逆
​
所以F也可逆
​
又因為
​
$F={\left[\begin{array}{cc}{E}_r& 0\\ 0& 0\end{array}\right]}_{n\ast n}$
​
若r<n
​
那麼｜F｜=0 說明F不可逆 與前提條件相反
​
所以r=n
​
即F=E（F為單比特矩陣）
​
所以

$$A=P_1{P}_2...P_i$$

定理1

設A、B均為m×n矩陣，那麼

1. $A～B(r)$【指對A進行初等行變換】的充分必要條件是存在m階可逆矩陣P，使得$PA=B$
2. $A～B(c)$【指對A進行初等列變換】的充分必要條件是存在n階可逆矩陣Q，使得$AQ=B$
3. $A～B$的充分必要條件是存在m階可逆矩陣P、n階可逆矩陣Q，使得$PAQ=B$

推論

方陣A可逆的條件是 $A～E(r,指行變換)$

證明充分性：

因為$A～E(r,指行變換)$

所以存在初等矩陣P，使得$PA=E$

因為E可逆、 P可逆
​
那麼A一定可逆
​
證明必要性：
​
首先A通過初等行變換一定可以變為F A～F
​
$$F={\left[\begin{array}{cc}{E}_r& 0\\ 0& 0\end{array}\right]}_{n\ast n}$$

若r<n 說明|F|=0
​
因為A可逆 所以F可逆
​
若|F|=0 則不可逆
​
所以|F|！=0
​
那麼 r=n
​
即 F=E
​
故 $A～E(r,指行變換)$

補充

定理1錶明，如果$A～B(r,指行變換)$，即A經過一系列初等行變換可以變為B，則一定存在可逆矩陣P，使得$PA=B$，那麼如何求P呢？
​
假設已知A、B的情况下
​
首先依據題意可得
​
$$\{\begin{array}{l}PA=B\\ PE=P\end{array}$$

所以

$$P(A,E)=(B,P)$$

推出
​
矩陣(A,E)通過初等行變換可以變為矩陣(B,P)
​
A、E、B已知，那麼P就一目了然啦
​
注意：

矩陣(A,E)的意思是矩陣A與矩陣E橫行拼接
​
比如$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$$、$$E=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$

那麼矩陣$$(A,E)=\left[\begin{array}{cccc}1& 2& 1& 0\\ 3& 4& 0& 1\end{array}\right]$$

當B=E時，此時求的P就是A的逆矩陣$$A^{-1}$$（求逆矩陣的一個常用方法！）

結語

說明：

• 參考於 課本《線性代數》第五版 同濟大學數學系編
• 配合書中概念講解 結合了自己的一些理解及思考

文章僅作為學習筆記，記錄從0到1的一個過程

希望對您有所幫助，如有錯誤歡迎小夥伴指正～

我是 海轟ଘ(੭ˊᵕˋ)੭

如果您覺得寫得可以的話，請點個贊吧

謝謝支持 ️