【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(8):矩陣的初等變換

海轟Pro 2021-09-18 11:33:40 阅读数:343

mathematics machine learning 系列 初等

前言

Hello!小夥伴!
非常感謝您閱讀海轟的文章,倘若文中有錯誤的地方,歡迎您指出~
 
自我介紹 ଘ(੭ˊᵕˋ)੭
昵稱:海轟
標簽:程序猿|C++選手|學生
簡介:因C語言結識編程,隨後轉入計算機專業,有幸拿過一些國獎、省獎…已保研。目前正在學習C++/Linux/Python
學習經驗:紮實基礎 + 多做筆記 + 多敲代碼 + 多思考 + 學好英語!
 
機器學習小白階段
文章僅作為自己的學習筆記 用於知識體系建立以及複習
知其然 知其所以然!

往期文章

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(1):二階與三階行列式、全排列及其逆序數

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(2):n階行列式、對換

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(3):行列式的性質

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(4):行列式按行(列)展開

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(5):克拉默法則

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(6):矩陣的運算

【機器學習|數學基礎】Mathematics for Machine Learning系列之線性代數(7):逆矩陣

3.1 矩陣的初等變換

定義

矩陣的初等變換

  1. 對調兩行(對調i,j兩行,記作 r i r j r_{i}\leftrightarrow r_{j} rirj
  2. 以數 k ≠ 0 k\neq 0 k=0乘某一行中的所有元素(第i行乘以k,記作 r i × k r_{i}×k ri×k
  3. 把某一行所有的元素的k倍加到另一行對應的元素上(第j行的k倍加到第i行上,記作 r i + k r j r_{i}+kr_{j} ri+krj

變換同理,對列進行相應的操作(也是上面三種操作)

初等行變換、列變換統稱初等變換。
如果矩陣A經過有限次初等行變換變成B,就稱矩陣A與B行等價,記作 A ∼ B ( r ) A \sim B(r) AB(r)
在這裏插入圖片描述

如果矩陣A經過有限次初等列變換變成B,就稱矩陣A與B列等價,記作 A ∼ B ( c ) A \sim B(c) AB(c)
在這裏插入圖片描述

如果矩陣A經過有限次初等變換變成矩陣B,那麼稱矩陣A與B等價,記作 A ~ B A~B AB

注:

後文中使用如下符號代錶行、列變換
 
A ∼ B ( r ) 代 錶 A 通 過 列 變 換 到 B A \sim B(r) 代錶A通過 列 變換到B AB(r)AB
A ∼ B ( c ) 代 錶 A 通 過 列 變 換 到 B A \sim B(c) 代錶A通過 列 變換到B AB(c)AB

等價具有的性質

矩陣之間的等價關系具有以下性質:

  1. 反身性 A ~ A A~A AA
  2. 對稱性 若 A ~ B A~B AB,則 B ~ A B~A BA
  3. 傳遞性 若 A ~ B , B ~ C A~B,B~C ABBC,則 A ~ C A~C AC

矩陣類型

1、行階梯形矩陣

可以畫出一條階梯線,線的下方全為0
每一個臺階只有一行,臺階數即是非零行的行數,階梯線的豎線後面的第一個元素為非零元,也就是非零行的第一個非零元。

在這裏插入圖片描述
2、行最簡形矩陣

在行階梯形矩陣定義的基礎之上還要求:

  • 非零行的第一個非零元為1
  • 且這些非零元所處的列的其他元素為0.

在這裏插入圖片描述
任何矩陣 A m × n A_{m×n} Am×n總可經過有限次初等變換將其變為行階梯形矩陣、行最簡形矩陣。

3、標准形矩陣

對行最簡形矩陣再進行處等列變換,可以得到一種形狀更簡單的矩陣,成為標准形矩陣。
其特點是左上角是一個單比特矩陣,其餘元素均為0.

對於矩陣A,總可以經過一系列初等變換轉化為標准形矩陣F

其中r為行階梯形矩陣中非零行的行數。

4、初等矩陣

單比特矩陣E經過一次初等變換得到的矩陣稱為初等矩陣

有三種初等變換,則有三種初等矩陣,下面以行初等變換為例

(1)將單比特矩陣中的第i、j行對調,得初等矩陣
在這裏插入圖片描述
用m階初等矩陣 E m ( i , j ) E_m(i,j) Em(i,j)左乘矩陣A,其中 A = ( a i j ) m ∗ n A=(a_{ij})_{m*n} A=(aij)mn,得到

在這裏插入圖片描述

觀察結果,可以發現最終結果其實就是將A矩陣中第i、j行進行了對調 ( r i r j ) (r_i \leftrightarrow r_j) rirj

舉個實際例子(左乘):

對調單比特矩陣的第1、3行

同理,以n階初等矩陣右乘矩陣A,結果就是相對於對矩陣A進行列變換

(2)以數 k ! = 0 k!=0 k!=0乘單比特矩陣的第i行(或第i列),得到初等矩陣

在這裏插入圖片描述

可以發現,矩陣 E m ( i ( k ) ) E_m(i(k)) Em(i(k))左乘矩陣A,結果就是相對於數k乘以A的第i行

舉個實際例子(左乘):

單比特矩陣第二行乘以k=2

同理, E m ( i ( k ) ) E_m(i(k)) Em(i(k))右乘A,相當於k乘以A的第i列

(3)以k乘E的第j行加到第i行(或k乘以第j列加到第i列),得到初等矩陣
在這裏插入圖片描述
左乘時,相當於把矩陣A的第j行乘k加到第i行上

舉個實際例子(左乘):

單比特矩陣第3行乘以k=2加到第2行上

同理,右乘時,相當於把矩陣A的第j列乘k加到第i列上

性質

從上面的討論中,可以得出

性質1

設A是一個m*n矩陣

  • 對A施加一次初等變換,相當於在A的左邊乘以相應的m階初等矩陣;
  • 對A施加一次初等變換,相當於在A的右邊乘以相應的n階初等矩陣

初等矩陣都是可逆的,且其逆矩陣都是同一類型的初等矩陣

  • E ( i , j ) − 1 = E ( i , j ) E(i,j)^{-1} = E(i,j) E(i,j)1=E(i,j)
  • E ( i ( k ) ) − 1 = E ( i ( 1 k ) ) E(i(k))^{-1}=E(i(\frac{1}{k})) E(i(k))1=E(i(k1))
  • E ( i j ( k ) ) − 1 = E ( i j ( − k ) ) E(ij(k))^{-1}=E(ij(-k)) E(ij(k))1=E(ij(k))

注意

  • E ( i ( k ) ) 是 指 對 單 比特 矩 陣 第 i 行 乘 以 k E(i(k))是指對單比特矩陣第i行乘以k E(i(k))比特ik
  • E ( i j ( k ) ) 是 指 單 比特 矩 陣 第 i 行 加 上 第 j 行 乘 以 k E(ij(k))是指單比特矩陣第i行 加上 第j行乘以k E(ij(k))比特ijk

實例演示

設3階單比特陣E

E = [ 1 0 0 0 1 0 0 0 1 ] E=\begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} E=100010001

很顯然

  • (E)E=E
  • E(E)=E

所以單比特陣的逆矩陣為其本身 即 E ( i , j ) − 1 = E ( i , j ) E(i,j)^{-1} = E(i,j) E(i,j)1=E(i,j)

假設對E的第二行乘以2

得到 E ( i ( 2 ) ) = [ 1 0 0 0 2 0 0 0 1 ] ( i = 2 , 錶 示 第 二 行 ) E(i(2)) =\begin{bmatrix} 1 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 1 \end{bmatrix}(i = 2,錶示第二行) E(i(2))=100020001(i=2)

那麼 E ( i ( 2 ) ) − 1 = E ( i ( 1 2 ) ) = [ 1 0 0 0 1 2 0 0 0 1 ] E(i(2))^{-1}=E(i(\frac{1}{2})) =\begin{bmatrix} 1 & 0 & 0\\ 0 & \frac{1}{2} & 0\\ 0 & 0 & 1 \end{bmatrix} E(i(2))1=E(i(21))=1000210001


[ 1 0 0 0 2 0 0 0 1 ] ∗ [ 1 0 0 0 1 2 0 0 0 1 ] = [ 1 0 0 0 1 0 0 0 1 ] = E \begin{bmatrix} 1 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 1 \end{bmatrix} * \begin{bmatrix} 1 & 0 & 0\\ 0 & \frac{1}{2} & 0\\ 0 & 0 & 1 \end{bmatrix}=\begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} = E 1000200011000210001=100010001=E

假設對E的第3行乘以2 再加到第2行上

得到 E ( i j ( 2 ) ) = [ 1 0 0 0 1 2 0 0 1 ] ( i = 2 、 j = 3 , 分 別 錶 示 第 2 、 3 行 ) E(ij(2)) = \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 2\\ 0 & 0 & 1 \end{bmatrix}(i=2、j = 3,分別錶示第2、3行) E(ij(2))=100010021(i=2j=323)

那麼 E ( i j ( 2 ) ) − 1 = E ( i j ( − 2 ) ) = [ 1 0 0 0 1 − 2 0 0 1 ] E(ij(2))^{-1} = E(ij(-2)) = \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & -2\\ 0 & 0 & 1 \end{bmatrix} E(ij(2))1=E(ij(2))=100010021


​ [ 1 0 0 0 1 − 2 0 0 1 ] + [ 1 0 0 0 1 2 0 0 1 ] = [ 1 0 0 0 1 0 0 0 1 ] = E ​ \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & -2\\ 0 & 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 2\\ 0 & 0 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix}=E 100010021+100010021=100010001=E

性質2

方陣A可逆的充分必要條件是存在有限個初等矩陣 P 1 , P 2 , . . . P i , P_1,P_2,...P_i, P1,P2,...Pi,使得 A = P 1 P 2 . . . P i A=P_1P_2...P_i A=P1P2...Pi

證明:

先證明充分性:

A = P 1 P 2 . . . P i A=P_1P_2...P_i A=P1P2...Pi

因為初等矩陣可逆,有限個可逆矩陣的乘積依然可逆

所以A可逆

證必要性:

假設n階方陣A可逆

A通過一系列變換轉換為標准形矩陣F

那麼F也可以通過一系列初等變換轉換為A

F ~ A F~A FA

所以

A = P 1 . . . P s F P s + 1 . . . P i A=P_1...P_sFP_{s+1}...P_i A=P1...PsFPs+1...Pi

因為A可逆, P 1 , P 2 , . . . P i , P_1,P_2,...P_i, P1,P2,...Pi,也可逆

所以F也可逆

又因為

F = [ E r 0 0 0 ] n ∗ n F=\begin{bmatrix} E_r & 0\\ 0 & 0 \end{bmatrix}_{n*n} F=[Er000]nn

若r<n

那麼|F|=0 說明F不可逆 與前提條件相反

所以r=n

即F=E(F為單比特矩陣)

所以

A = P 1 P 2 . . . P i A=P_1P_2...P_i A=P1P2...Pi

定理1

設A、B均為m×n矩陣,那麼

  1. A ~ B ( r ) A~B(r) AB(r)【指對A進行初等行變換】的充分必要條件是存在m階可逆矩陣P,使得 P A = B PA=B PA=B
  2. A ~ B ( c ) A~B(c) AB(c)【指對A進行初等列變換】的充分必要條件是存在n階可逆矩陣Q,使得 A Q = B AQ=B AQ=B
  3. A ~ B A~B AB的充分必要條件是存在m階可逆矩陣P、n階可逆矩陣Q,使得 P A Q = B PAQ=B PAQ=B

推論

方陣A可逆的條件是 A ~ E ( r , 指 行 變 換 ) A~E(r,指行變換) AE(r,)

證明充分性:

因為 A ~ E ( r , 指 行 變 換 ) A~E(r,指行變換) AE(r,)

所以存在初等矩陣P,使得 P A = E PA=E PA=E

因為E可逆、 P可逆

那麼A一定可逆

證明必要性:

首先A通過初等行變換一定可以變為F A~F

F = [ E r 0 0 0 ] n ∗ n F=\begin{bmatrix} E_r & 0\\ 0 & 0 \end{bmatrix}_{n*n} F=[Er000]nn

若r<n 說明|F|=0

因為A可逆 所以F可逆

若|F|=0 則不可逆

所以|F|!=0

那麼 r=n

即 F=E

A ~ E ( r , 指 行 變 換 ) A~E(r,指行變換) AE(r,)

補充

定理1錶明,如果 A ~ B ( r , 指 行 變 換 ) A~B(r,指行變換) AB(r,),即A經過一系列初等行變換可以變為B,則一定存在可逆矩陣P,使得 P A = B PA=B PA=B,那麼如何求P呢?

假設已知A、B的情况下

首先依據題意可得

{ P A = B P E = P \begin{cases} PA=B\\ PE=P \end{cases} { PA=BPE=P

所以

P ( A , E ) = ( B , P ) P(A,E)=(B,P) P(A,E)=(B,P)

推出

矩陣(A,E)通過初等行變換可以變為矩陣(B,P)

A、E、B已知,那麼P就一目了然啦

注意:

矩陣(A,E)的意思是矩陣A與矩陣E橫行拼接

比如 A = [ 1 2 3 4 ] A=\begin{bmatrix} 1 & 2\\ 3 & 4 \end{bmatrix} A=[1324] E = [ 1 0 0 1 ] E=\begin{bmatrix} 1 & 0\\ 0 & 1 \end{bmatrix} E=[1001]

那麼矩陣 ( A , E ) = [ 1 2 1 0 3 4 0 1 ] (A,E)=\begin{bmatrix} 1 & 2 & 1 & 0\\ 3 & 4 & 0 & 1 \end{bmatrix} (A,E)=[13241001]

當B=E時,此時求的P就是A的逆矩陣 A − 1 A^{-1} A1(求逆矩陣的一個常用方法!)

結語

說明:

  • 參考於 課本《線性代數》第五版 同濟大學數學系編
  • 配合書中概念講解 結合了自己的一些理解及思考

文章僅作為學習筆記,記錄從0到1的一個過程

希望對您有所幫助,如有錯誤歡迎小夥伴指正~

我是 海轟ଘ(੭ˊᵕˋ)੭

如果您覺得寫得可以的話,請點個贊吧

謝謝支持 ️

版权声明:本文为[海轟Pro]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/09/20210918113339781a.html