说在前面的话其实两个月前就想开这个讨论贴了虽然说现在这个学期是快结束了，但是线性代数的学习远没有结束，所以现在开帖也不迟嘛（顶锅盖逃主要是给19级的小伙伴咸鱼提供一个讨论的平台，当然也希望有别的级的大佬一起参与讨论：-D 现状 10月份的时候讲C的快速入门坟还有十几个人来讨论（听课），进入GSLA的学习之后来讨论的人数直线下降，连续两个星期只有三个人来讨论了。开这个帖子也是希望能有更多人关注到线代的学习，享受到学线代的乐趣。局限我们必须承认在线代的理解上我们还有非常多的不足。比如：在18.065的lecture 1里提到了一个A的CR分解，C中的列是A中的independent columns，这时R中是行空间的basis。这似乎再显然不过了，但是在我们整个学期的讨论中竟然没有提到过这种很基础很基础的分解形式，是不是也很能说明一些问题呢？如果我们能通过这种形式去理解为什么行空间与列空间维度相等，或者通过行秩等于列秩这一结论去推出A会有CR这种分解形式，是不是会有更深一步的收获呢？当然，CR分解这件事本身没什么令人震惊的，但我们学了一个学期居然没人想过这种很basic的idea，这比较让人震惊。大家如果有时间可以去看看18.065 lecture one，我相信你也会当场懵掉。不是因为难，而是因为这太基础了。除了思考深度外，还有一点就是讨论时间。每周仅有周六早上3个小时的讨论，三个小时内解决所有人一周内积累的所有问题，这似乎不大现实。如果说我们可以做到在三个小时内讨论完所有的题目，我想这更能说明的一点是，我们做题做太少了（逃）。所以开这个帖子也是希望大家在平时也可以讨论线代，为啥要憋着等到周六再来一起讨论呢？？（好吧，在这点上我要背锅最后其实说实话，哪怕只有三个人在讨论，我也觉得挺开心的而且有收获。但刚才提到的局限，哪怕仅在三个人中也是存在的，可能要思考如何去调整。另外，开这个帖子不是呼吁大家努力学习线代；事实上我只是想提醒那些正在学习线代并且想学好线代的同伴，我们现在可能面对一些之前未发觉的问题，需要作出改变和调整。而至于线代有没有用、有没有趣、需不需要认真学，大家都是成年人，自己判断吧。最最后下周是本学期最后一次讨论，暂定为recitation，有想讨论的知识点或题目可以跟帖马一下。一些学习资源 - mit 18.06 - mit 18.065 - library genesis 有很多参考书可以免费下载关于18.065：这是18年的课程，YouTube上有36期完整的视频，但是书可能暂时买不到；和18.06相比，新增了关于machine learning的内容；和18.06相比有不少重叠的知识，但是鉴于上18.065的学生中有一部分是已经学过18.06的，合理推测课程中对于我们熟悉的知识点可能还是会有和18.06不同的perspective，有时间的同学可以去康康。康完记得发帖分享补充参考 -《Linear Algebra with Applications》Steven J.Leon （狗东上可以买到第九版） - 《Introduction to Applied Linear Algebra》 Stephen Boyd / Lieven Vandenberghe 只读一本GSLA应该是不够的。

我先来带个头！下面整理了一些GSLA（v5）上的题目，不是什么难题，只是一个补充。很希望能有同学提出一些基础而不肤浅的问题，像CR分解一样，也许我们现在并不需要找一些很难的题目去锻炼我们的做题技巧，可能在学期的最末尾，我们需要沉下心来问自己一些看上去简单而显然的问题。 PS 3.5: T13：判断两个矩阵的四大基本子空间相同的方法是？或者说，什么东西能决定它们的四大基本子空间相同？似乎可以从basis出发。除此之外，能不能从子空间的封闭性的角度把（c）改成正确的proposition。 T30:整个学期都没有怎么讨论matrix space，和vector space相比有哪些特性？（忘了是在书上还是视频里有提到symmetry matrix space的维度问题，有点意思的，应用（微分方程）上也有意义 PS 5.2 T25:构造分块矩阵来证明是真的有点玄学。我们知道block和entry在矩阵乘法上表现得比较类似，但是在求行列式时就不那么类似了，也许我们可以从矩阵的entry有的性质出发去玩一下block的性质。毕竟作为Cser，我们知道有许多算法都用到了分块矩阵。 PS 6.2 T31:Cayley-Hamilton Theorem，提到了特征多项式，P（A）也挺神奇的。（P317最下面，又是分块矩阵的玄学构造难顶） PS 6.5 T32:提到了group PS 7.2 T18:建立了关于svd的直观理解后这应该是道送分题……？以上都不是什么难题，只是我觉得平时比较少讨论到这些问题上，补充一下整挺好嗷。只有这几个问题是因为我做的题太少了

A = CR 的一个具体实例。 1、A = [[2, 3, 5], [1, 1, 7], [3, 4, 12]]，把所有向量理解为列向量。很显然，A并不满秩，因为第一列加第二列等于第三列。 2、A的列空间C(A)等于什么？取第一列和第二列即可，所以，C = [[2, 3, 5], [1, 1, 7]] 3、A = C * R，现在已知A和C，R是什么？很容易看出（利用C的列组合），R= [[1,0], [0, 1], [1, 1]] 4、R是A的行空间的基吗？（反正我在这里犹豫了很久）直到Strang老先生提醒，R左乘C，是做行组合！验证，显然R=C(A T ). 这就是所谓的CR分解。A = CR，C与R有相同的Rank。 Not a big deal。开心就好。论坛的公式支持要提高啊，站长！ @0x0001

线代讨论课的思维碰撞：把奇妙的想法用严谨的方式证明书中的结论。比如相似矩阵的有相同特征值。更有意思的是在证明过程中还找到了相似矩阵的特征向量。

推荐一个知乎上的笔记，可供参考 https://zhuanlan.zhihu.com/p/28277072 完整版可看我收藏夹 https://www.zhihu.com/collection/439602529?page=3

Bintou 是指R的行向量是A的行空间的基吗？

还有一个想法与大家讨论一下。 MIT 18.06 有大量的Python代码来进行线性代数计算，甚至包括使用SVD进行Strang老师的照片进行压缩。我的问题是，大家会觉得这些Python代码对线性代数的学习有帮助吗？或者说，我们需要多少代码，不需要什么代码？我是非常提倡大家学数学的时候进行编程的。只是有一天我突然怀疑了起来，真的有一个软件，给定矩阵A，然后直接这样求行列式： A.determinant() 。这样的意义到底有多大？怀疑归怀疑，还是建议大家有空去玩一下那些代码的。

Cybsac 是的！这真的很妙，而且C是3x2，R是2x3，rank不就是2吗。而且其实再深挖一点，如果我们在学了rank-one matrix的形式后推广到更高维的情况，其实就是CR分解，只是当时我们没有再进一步。

Bintou 论坛的公式支持要提高啊，站长！近期安排上

线性代数讨论贴

Bintou

lego QR分解大致上表达是这样：
[ a_1 a_2 a_3 ... a_n ] = [ q_1 q_2 ... q_n] * R, 其中a_i 是原始矩阵的列，q_i是正交规范向量，R是什么？
我这样理解：
1、a_i 是q_i 的线性组合；
2、所以，a_i 可以表达为a_i投影到q_i 上的不同不同向量的组合；
3、例如：a3 = q1* q1^T a3 + q2* q2^T a3 + q3* q3^T a3；
4、注意，比如，这里的q2*q2^T a3，这是a3到q2的投影吗？看上去有点不像？其实是，因为q2^T q2 = 1，这本应该出现的分母被忽略了;
5、把第3步“ * ”后面的部分提取出来就是R。

lego

Bintou 是的，所以R里面第i列是记录了a_i在q_1到q_i里的分量，这点在R是个triangle也能体现出来

lego

以下是一些第三章的题目。不知道是不是我的错觉，这一章“有意思”的题目并没有前面两章多，比较多计算题。

PS 3.1:
T11:注意一下（a）、（b）的区别（感觉这种找matrix space的基的题目就是在找信息
T24:C(AB) \in C(A)，经常用到的结论，🐎一下
PS 3.2:
T59:N（A^T A)=N(A)，也是常用结论，🐎一下
PS 3.4:
T28:还是找matrix space的基的问题，这里需要多少信息呢
PS 3.5:
Page 187讲了CR分解！可能第一次看的时候没把它当回事( ･᷄ὢ･᷅ )
T10：random matrix的rank最有可能是多少？可能需要一些概率相关的知识……
T20（b）：用A的ER分解来找左零空间的基，这个操作🐎一下

Bintou

lego N(A^T A) = N(A)讲对称矩阵的时候用来证明A可逆iff A^T A 可逆？

lego

Bintou 任何矩阵都满足N（A^T A)=N(A)吧。如果是对称矩阵的话，A的四大基本子空间和A^T 的四大基本子空间相同，不用这个结论应该也能说明A可逆 iff A^T 可逆 iff A^T A可逆

lego

更新第四章：

P.S 4.1:
T7:Fredholm's Alternative，想表达的是如果b不在C(A)中，那么在N(A^T )中总能找到一个与b内积为1的向量吗

T9:N(A^T A)=N(A)的证明
P.S 4.2:
page210:The left nullspace is important in projections，感觉这句话挺内涵，🐎一下

T33:Kalman filter

T34:如果P1、P2是投影矩阵，P1P2也是投影矩阵iff P1P2=P2P1
P.S 4.3:
T21:关于e、p、x\hat的空间关系
P.S 4.4:
T6:正交矩阵的乘积也是正交矩阵

T19:分解R=DU,可以证明A^T A的pivots是R的对角线上元素的平方（Gram-schmidt on A corresponds to elimination on A^T A),补充一个page513的fast orthogonalization，LU分解和QR分解的关系可能比我们想象中的要密切

T25:给出了2x2下的QR分解的公式，前提是det>0

T30:给出了一组wavelet但是没怎么深挖

T34:之前讲reflection的时候我讲错了！！Q=I-2uu^T ,u不是mirror，u是垂直于mirror( ･᷄ὢ･᷅ )

lego

越到期末人越浪……跑来更新第五章了嘿嘿嘿。~~虽然第五章里的很多题目都已经讨论过了~~
这一章提到了非常多类似于tridiagonal或者对角线上all-zero的矩阵以及它们的determinant的规律，主要集中在det的通项、周期性还有与fibonacci类似的性质吧。

P.S 5.1:
T7: 给出了reflection matrix的其他形式

T14:GS老先生偏爱的tridiagonal里的-1，2，-1 matrix，可以推det的通项

T18:Vandermonde determinant，推通项的过程中要用到det的蛮多性质，挺有意思的
P.S 5.2:
T15:tridiagonal 1，1，1 matrix，有周期性的determinant

T16:determinant有fibonacci性质的1，1，-1 tridiagonal matrix

T17:det有类似fibonacci性质的-1，2，-1 tridiagonal

T22:det有类似fibonacci性质的1，3，1 tridiagonal（~~131啊嘿嘿嘿~~
P.S 5.3:
page279 cross product的定义

T20:Hadamard矩阵，传说这是一个很厉害的矩阵（逃

lego

About Jordan Form

快一个星期没更新，毕竟考试周。虽然考完高数之后我就开（被）始（退）浪（学）了。今天简单水一下Jordan Form，GS老先生说这是20年前的climax of linear algebra（现在的climax应该是svd？），但他也说了这在理解上还是有意义的。如果哪里错了或者有缺漏的地方请指出嗷

Motivation of Jordan Form

Jordan Form相关的内容在GSLA page421附近。像之前讨论过的svd一样，Jordan Form也在关注不能被对角化的矩阵。Strang老先生在18.06的视频上对Jordan Form的描述是：the nicest,most diagonal one，和the least square和pseudo-inverse 一样，Jordan Form是一个对目标的近似。Jordan Form是利用相似矩阵去获得一个最近似的diagonal matrix（实际上并不是diagonal)。当然，如果这个矩阵本身可以被对角化，那它的Jordan matrix就是Λ。

Similarity and Jordan Block

首先回顾一下如何判定一个矩阵能否被对角化，相关严谨判断在书上310页，用GM（geometric multiplicity)和AM(algebraic multiplicity)的大小关系来判断，这里简化一下：如果一个方阵A（nxn）有n个eigenvectors，那它可以被对角化。然后之前还我们证明了，如果A有n个不同的eigenvalues，那它必有n个independent eigenvectors，换句话说，如果A的eigenvectors不足n个，那它必有重复的eigenvalues。这时我们怎么得到一个diagonal或者近似diagonal呢？

SVD
之前我们学过可以用SVD来得到U∑V^T ,其中∑是一个diagonal，对角线上是singular value。

我之前在想一个问题，通过svd得到的diagonal有什么意义呢，毕竟它又不能像对角化一样很快算出矩阵的幂。现在的一种理解是，因为是diagonal，所以我们可以把U∑V^T 拆成outer product的形式，也就是常说的rank-one pieces。而每个pieces对应的奇异值大小感觉有点像权重：扔掉小的奇异值对原矩阵影响不大，但是扔掉大的奇异值的pieces对原矩阵影响比较大。

还有什么理解的话可以补充一下嗷，我觉得自己这个还是有点浅。
Jordan Block
首先，假设现在有一个只有一个eigenvector的矩阵A（不是1x1），那么它的每一个eigenvalue无疑都是相同的，让我们假设是λ，那么A不可能相似于一个diagonal。

简短的说明：eigenvalue全是λ的对角矩阵就是λI，我们知道A相似于B iff A=MBM^-1 ，那么λI的相似矩阵就是M λIM^-1 = λI，也就是说，λI只和自己相似，它不可能和A相似。

那如果我们想得到一个最近似于λI的和A相似的矩阵，其实很简单，将λI的次对角线从0改为1就可以了，这其实就是一个Jordan Block。

最后，之前我们的假设是，一个只有一个eigenvector的矩阵A，它的eigenvalue全是λ，这是个很强的假设，有比较大的局限性，所以现在我们推广到Jordan Matrix：）

From Jordan Block to Jordan Matrix

假设一个不能被对角化的方阵A有s个eigenvector，从刚才的分析我们知道，每一个Jordan Block对应一个eigenvector。将每一个eigenvector对应的Jordan block放在对角线上，我们就得到了Jordan matrix。

值得注意的是，忽略对角线上的Jordan Block的顺序后，每个矩阵的Jordan matrix具有唯一性。

Summary

最后来总结一下，对角化和SVD和Jordan Form的区别（？）

advantage:
- 对角化：算矩阵的幂直接转化为λ的指数运算，快
- SVD：适用于所有矩阵（包括非方阵）、能将矩阵拆成rank-one pieces、奇异值很稳定（误差大小不超过矩阵中的误差大小）
- Jordan Form:适用于所有方阵，得到一个double diagonal matrix（具体应用我没怎么看到，寒假去康康leon那本书上有没有关于Jordan Form的应用）
  总的来说，SVD局限性看上去是最小的，不愧是现在的climax of linear algebra（逃
disadvantage:
- 对角化：只能对角化有足够eigenvector的矩阵，局限性较大
- SVD：我也不知道有啥disadvantage，但是计算量无疑不小
- Jordan Form:只能得到近似diagonal的结果（而且我还不知道它有什么用）
  
  补充1:对角化和Jordan Form都依赖于计算eigenvalue，但是书上也有说，eigenvalue是很不稳定的，矩阵上一点很小的变动或误差都能对eigenvalue的很大的改变，这也是问题之一。
  
  补充2：对角化和SVD都携带了eigenvalue和eigenvector的信息，但是Jordan Form就不是，你从一个矩阵的Jordan Form只能看出它的AM、GM和eigenvalue，不能得到关于矩阵的eigenvector的信息

今天暂时水这么多，是真的水（逃
有错误或有疑问的话可以跟帖回一下嗷
下一次更DFT吧，虽然clrs上讲得已经比较清楚，但是写一下比较不容易忘掉（逃

Bintou

lego “也就是常说的rank-one pieces。而每个pieces对应的奇异值大小感觉有点像权重：扔掉小的奇异值对原矩阵影响不大，但是扔掉大的奇异值的pieces对原矩阵影响比较大。”，这不就是Principal component analysis吗？奇异值大的rank-one pieces就是principal components。