MIT线性代数导论笔记
第二课时:矩阵消元 本课时的目标是用矩阵变换描述消元法。核心概念是矩阵变换 、消元法 消元法:将主对角线上的主元固定(0不能做主元),把主元下面的元素消为0。过程:先完成左侧矩阵 的消元(变成上三角矩阵),再回代运算右侧向量,最后即可求出解完成整个消元过程。( matlab也是先 计算左侧矩阵,再回头计算右侧向量的) X++:乙 +89+t:12 +t 左侧矩阵的消元过程:U矩阵是A矩阵的最终消元结果 9 Piat A 04 冇侧向量冋代过程:A中加入b列向量变成增广矩阵,增广就是增加的意思,增加了新列,左侧矩阵消元 时,右侧向量也会跟着变化。c向量是b向量的最终结果 212四213 66936 3)0 a b 求解:将U和c代入原式子可得解 +2+己22X 2-2-C Se=-10 消元法失效的情况(指不能得到三个主元):当主元上为0时,就通过交换行将主元位置变为非0,当通 过父交换行还不能解决0主元的时候,消元法就失效了。(不能解决0主元的矩阵是不可逆矩阵) 、引入矩阵描述这些(消元步骤的)变化(消元矩阵),用矩阵语言描述整个消元过程。 回忆下我们应该怎样看待矩阵乘法 矩阵乘以列向量是矩阵列的线性组合,结果为列向量;行向量乘以矩阵式矩阵行的线性组合,结果为行向 量 下面用消元矩阵来对矩阵进行消元,注意变换过程我们应该始终用线性组合的方式进行思考。同时注意到: 单位矩阵是一个不会对任何矩阵有任何变换作用的矩阵 第一步消元:我们要对中间的矩阵进行消元,得到右侧矩阵,第一步为row2=row2-3*row1。依次考虑左 侧矩阵的行,第一行与中间矩阵的各个行向量进行线性组合,右侧矩阵的第一个行向量就是这个线性组合 的结果,可观察容易得出左侧消元矩阵第一行为(100)。其实只需要由变换(row2=row2-3row1)可 得,消元矩阵中只有第行有不同于单位矩阵的数值,即(-310) Mamces. suhract 3+(oul fro o|38 a 第二步消元: ep2:元ac+2x2 O nOW /ow Otoo2-=|92 04|005 以上每一步消元都使用到一个初等矩阵进行变换,我们将这些初等矩阵变换步骤综合起来(为什么综合起 来?原因之一是更节省空间),即 有什么矩阵可以一次性亢成E32和E21的消元任务呢?可以用结合律将E32和E21乘起来得到,但我们 不这样做。 更好的方法:不是关于A怎么变换成U,而是∪如何变成A,逆变换。下一课时将详细讲解。 逆矩阵,右侧消元矩阵表示的变换是row2减去3倍row1,将右侧向量从(2122)变成(262)。现在 需要将(262)通过找到某矩阵取消这次消元,减去多少就加回来多少,变回(2122),即该矩阵乘以 初等矩阵得到单位矩阵 即:原矩阵是A,E1A=B,E2E1A=E2B,A=E2B(E2会将B变回A),A=E2B,E2E1叫,E2与E1互 为逆矩阵。 工ee 00 00 3|0/3101/01 00 0 0 置换( permutation)矩阵:即交换行或交换列的变换矩阵 行交换: 01c 列交换 b10 第三课时:乘法与逆矩阵 本课时先讲解矩阵乘法运算,然后是逆矩阵 矩阵乘法:5种方法 Amxn Bnxp=cmxp,A列必须等于B的行数 1)常规方法,行列点乘法:C=AB,C中的第行j列结果来自A的第i行向量与B的第j列向量的点乘。 整行整列的进行。 2)列方法,整列考虑,列的线性组合方式:B的一个列向量乘以A(矩阵A各列向量的线性组合)得到 C的对应列向量,此过程其余列向量暂不参与计算。 3)行方法,整行考虑,行的线性组合方式:A的一个行向量乘以B(矩阵B各行向量的线性组合)得到 C的对应行向量,此过程其余行向量暂不参与计算 4)列x行法:AB等于A各列与B各行乘积之和:A中列乘以B中行,如A第一列乘以B第一行得一个 矩阵(这样的矩阵很特殊,行向量和列向量都是单个向量的线性组合,第四讲会讲到有关行空间,列空间 的概念),最后将得到的各矩阵相加。我们就看一列和一行相乘的例子: 6」:|3 y 特殊之处:右侧矩阵的行空间是一条直线,即行所有可能的线性组合都在一条直线上;同理其列空间也是 直线。所以这实际上是一个很小的矩阵。 5)分块乘法:将矩阵A,B分成能够相互匹配的块,然后对应进行分块行点乘分块列 Aoc A11 、矩阵的逆 A=工=AA 对于可逆方阵,左逆矩阵等于右逆矩阵。 什么样的矩阵可逆或者说是非奇异的? 我们可以讨论奇异矩阵,不可逆的情况。 1)行列式为0 2)列图像思考,假设A可逆,那A乘以他的逆矩阵得单位矩阵,A矩阵乘以其逆矩阵的第一列得单位矩 阵的第一列(10),因为其列的线性组合始终在(12)这条直线上,所以不可能得到(10)向量。 3)如果存在非0向量X,使的AX=0,即Ⅹ对A的列向量的线性组合可以得到0向量(有一列在线性组 合中不起作用),那么A是不可逆的。证明:假设存在可逆矩阵A-1,那么有A-1AX=0,得|=0,得Ⅹ=0, 与Ⅹ是非0向量相违背。 结论:不可逆矩阵,奇异矩阵,其列能通过线性组合得到0向量 如何求逆? 1)利用列的线性组合思想,矩阵A乘以该求的逆矩阵得到单位矩阵,这样,求逆和求方程组是一个意思 a c ⊙ 0 工 2)将两个方程组放在一起考虑,如下,可理解为系数矩阵不变,分别求两个方程组的解,即可求得矩阵 的逆。我们把下面两个放在一起考虑,形成增广矩阵,使得消元变换对两个方程组的作用是一样的。将增 矩阵的左侧变换消元为单位矩阵,右侧就变成其逆矩阵∫。这是高斯-若尔当思想消元。 21 0 2 aud-Sode( u 2 o5 at one 370 073 310F 工 为什么增广矩阵的右侧变成的是矩阵A的逆,以下变换给予证明:E为一次性的消元矩阵,EA=,那么 E=A-1了 EA- I +elksusE-A 4/Iy A和B郁存在逆,那么AB的逆是多少? 是B的逆乘以A的逆得到的矩阵。为什么相乘的顺序要反过来?因为逆即是逆操作。 AA工=A ABAy=工 AAE=工 可逆矩阵转置的逆是什么? A乘以A的逆等于单位矩阵,两侧冋时转置,右侧单位矩阵转置仍然得单位矩阵,左侧分别转置两个矩阵, 然后以相反顺序相乘,因此A的逆的转置乘以A的转置得到单位阵。A转置的逆即是A的逆的转置。因 此,要求A转置的逆,只需要先求A的逆,然后求该逆的转置即可。转置和逆两种乘法运算,对于单个矩 阵而已,其顺序可以颠倒。 A=工 DN工 长stA 第四课时:A的LU分解 、A=LA分解 消元的目的,只是为了更好正确的认识矩阵的概念,A=L∪是最基础的矩阵分解。L是下三角矩阵,U是 上三角矩阵。A通过消元最终得到∪,L即A与U之间的联系。 先看A矩阵通过初等矩阵消元得到U: 2 A 03 这里要求的是A=U,L和消元矩阵E是什么联系呢?L与E互为逆矩阵。消元矩阵的逆是比较容易求的 A=L u 8=3 有吋我们将U中的主元提取出来,其余的位置设为0,即 diagonal对角阵D,可分解得到LDU,两边各 个三角矩阵,中间一个对角阵 y11。3 假设在三维矩阵中,消元步骤中不需要任何行交换,L是各消元矩阵的逆的反向乘积 EEA=u( K心 为什么要用逆的形式?即上图中为什么下面的逆的形式的等式要比上面的等式要好? 举下面的例子,两个消元矩阵E21(行2减去2倍行1)和E32(行3减去5倍的新行2)相乘得新的右 侧消元矩阵,那么,从右侧结果显示,元素10是我们不喜欢的(但它确实是运算结果),E21(行2减 去2倍行1)和E32(行3减去5倍的新行2)这种顺序,行1(元素10)怎么就影响到了行3呢?这是 因为,第一步中有2倍行1从行2中减去了,然后在第二步中又乘5倍从行3中减去,因此总共在行3 中加上了10倍行1。因此,这种形式不是我们喜欢的,但逆的乘积则不是这样的。 2 -5 对于“第一步中有2倍行1从行2中减去了,然后在第二步中又乘5倍从行3中减去,因此总共在行3中 加上了10倍行1”,我举个例子解释一下: 120 341 505 该矩阵通过以上所措述的进行变换,第一步第二行有:3-2*14-2*21-2*0 最终第二步第三行有:5-5*(3-2*1)0-5*(4-22)5-5*(1-2*0) 即:5-5*(3-2*1)0-5*(4-2*2)5-5*(1-2*0)=5-5*3+10410-5*4+1025-5*1+100 由这个结果不难看出“总共在行3中加上了10倍行1”的结论了 现在我们反向计算,顺序倒过来求逆的积。L中矩阵相乘的顺序非常好,2和5不会冲突,不会得到10。 即要求出L,不需要任何运算,只需要把所有消元乘数都写进来,就能得到L。