### 说在前面的话其实两个月前就想开这个讨论贴了虽然说现在这个学期是快结束了，但是线性代数的学习远没有结束，所以现在开帖也不迟嘛（顶锅盖逃主要是给19级的小伙伴~~咸鱼~~提供一个讨论的平台，当然也希望有别的级的大佬一起参与讨论：-D **现状** 10月份的时候讲C的快速入门~~坟~~还有十几个人来讨论（~~听课~~），进入GSLA的学习之后来讨论的人数直线下降，连续两个星期只有三个人来讨论了。开这个帖子也是希望能有更多人关注到线代的学习，享受到学线代的乐趣。 **局限** 我们必须承认在线代的理解上我们还有非常多的不足。比如：在18.065的lecture 1里提到了一个A的CR分解，C中的列是A中的independent columns，这时R中是行空间的basis。这似乎再显然不过了，但是在我们整个学期的讨论中竟然没有提到过这种很基础很基础的分解形式，是不是也很能说明一些问题呢？如果我们能通过这种形式去理解为什么行空间与列空间维度相等，或者通过行秩等于列秩这一结论去推出A会有CR这种分解形式，是不是会有更深一步的收获呢？当然，CR分解这件事本身没什么令人震惊的，但我们学了一个学期居然没人想过这种很basic的idea，这比较让人震惊。大家如果有时间可以去看看18.065 lecture one，我相信你也会当场懵掉。不是因为难，而是因为这太基础了。除了思考深度外，还有一点就是讨论时间。每周仅有周六早上3个小时的讨论，三个小时内解决所有人一周内积累的所有问题，这似乎不大现实。如果说我们可以做到在三个小时内讨论完所有的题目，我想这更能说明的一点是，我们做题做太少了（~~逃~~）。所以开这个帖子也是希望大家在平时也可以讨论线代，为啥要~~憋着~~等到周六再来一起讨论呢？？（好吧，在这点上我要背锅 **最后** 其实说实话，哪怕只有三个人在讨论，我也觉得挺开心的而且有收获。但刚才提到的局限，哪怕仅在三个人中也是存在的，可能要思考如何去调整。另外，开这个帖子不是呼吁大家努力学习线代；事实上我只是想提醒那些正在学习线代并且想学好线代的同伴，我们现在可能面对一些之前未发觉的问题，需要作出改变和调整。而至于线代有没有用、有没有趣、需不需要认真学，大家都是~~成年人~~，自己判断吧。 **最最后** 下周是本学期最后一次讨论，暂定为recitation，有想讨论的知识点或题目可以跟帖马一下。 ### 一些学习资源 -[mit 18.06](https://mitmath.github.io/1806/) -[mit 18.065](https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm) -[library genesis](http://libgen.lc) 有很多参考书可以免费下载关于18.065：这是18年的课程，YouTube上有36期完整的视频，但是书可能暂时买不到；和18.06相比，新增了关于machine learning的内容；和18.06相比有不少重叠的知识，但是鉴于上18.065的学生中有一部分是已经学过18.06的，合理推测课程中对于我们熟悉的知识点可能还是会有和18.06不同的perspective，有时间的同学可以去康康。~~康完记得发帖分享~~ ### **补充参考** -《Linear Algebra with Applications》Steven J.Leon （狗东上可以买到第九版） -[《Introduction to Applied Linear Algebra》 Stephen Boyd / Lieven Vandenberghe ](https://web.stanford.edu/~boyd/vmls/vmls.pdf) 只读一本GSLA应该是不够的。

我先来带个头！下面整理了一些GSLA（v5）上的题目，不是什么难题，只是一个补充。很希望能有同学提出一些基础而不肤浅的问题，像CR分解一样，也许我们现在并不需要找一些很难的题目去锻炼我们的做题技巧，可能在学期的最末尾，我们需要沉下心来问自己一些看上去简单而显然的问题。 - PS 3.5: T13：判断两个矩阵的四大基本子空间相同的方法是？或者说，什么东西能决定它们的四大基本子空间相同？似乎可以从basis出发。除此之外，能不能从子空间的封闭性的角度把（c）改成正确的proposition。 T30:整个学期都没有怎么讨论matrix space，和vector space相比有哪些特性？（忘了是在书上还是视频里有提到symmetry matrix space的维度问题，有点意思的，应用（~~微分方程~~）上也有意义 - PS 5.2 T25:构造分块矩阵来证明是真的有点玄学。我们知道block和entry在矩阵乘法上表现得比较类似，但是在求行列式时就不那么类似了，也许我们可以从矩阵的entry有的性质出发去玩一下block的性质。毕竟作为Cser，我们知道有许多算法都用到了分块矩阵。 - PS 6.2 T31:Cayley-Hamilton Theorem，提到了特征多项式，P（A）也挺神奇的。（P317最下面，又是分块矩阵的玄学构造~~难顶~~） - PS 6.5 T32:提到了group - PS 7.2 T18:建立了关于svd的直观理解后这应该是道送分题……？以上都不是什么难题，只是我觉得平时比较少讨论到这些问题上，补充一下整挺好嗷。只有这几个问题是因为~~我做的题太少了~~

A = CR 的一个具体实例。 1、A = [[2, 3, 5], [1, 1, 7], [3, 4, 12]]，把所有向量理解为列向量。很显然，A并不满秩，因为第一列加第二列等于第三列。 2、A的列空间C(A)等于什么？取第一列和第二列即可，所以，C = [[2, 3, 5], [1, 1, 7]] 3、A = C * R，现在已知A和C，R是什么？很容易看出（利用C的列组合），R= [[1,0], [0, 1], [1, 1]] 4、R是A的行空间的基吗？（反正我在这里犹豫了很久）直到Strang老先生提醒，R左乘C，是做行组合！验证，显然R=C(A^T). 这就是所谓的CR分解。A = CR，C与R有相同的Rank。 Not a big deal。开心就好。论坛的公式支持要提高啊，站长！@"0x0001"#1

线代讨论课的思维碰撞：把奇妙的想法用严谨的方式证明书中的结论。比如相似矩阵的有相同特征值。更有意思的是在证明过程中还找到了相似矩阵的特征向量。

推荐一个知乎上的笔记，可供参考 https://zhuanlan.zhihu.com/p/28277072 完整版可看我收藏夹 https://www.zhihu.com/collection/439602529?page=3

@"Bintou"#p2811 是指R的行向量是A的行空间的基吗？

还有一个想法与大家讨论一下。[MIT 18.06](https://github.com/mitmath/1806)有大量的Python代码来进行线性代数计算，甚至包括使用SVD进行Strang老师的照片进行压缩。我的问题是，大家会觉得这些Python代码对线性代数的学习有帮助吗？或者说，我们需要多少代码，不需要什么代码？我是非常提倡大家学数学的时候进行编程的。只是有一天我突然怀疑了起来，真的有一个软件，给定矩阵A，然后直接这样求行列式：```A.determinant()``` 。这样的意义到底有多大？怀疑归怀疑，还是建议大家有空去玩一下那些代码的。

@"Cybsac"#p2816 是的！这真的很妙，而且C是3x2，R是2x3，rank不就是2吗。而且其实再深挖一点，如果我们在学了rank-one matrix的形式后推广到更高维的情况，其实就是CR分解，只是当时我们没有再进一步。

> @"Bintou"#p2811 论坛的公式支持要提高啊，站长！近期安排上

线性代数讨论贴

lego

Cybsac 看懂了！谢谢

Bintou

lego QR分解大致上表达是这样：
[ a_1 a_2 a_3 ... a_n ] = [ q_1 q_2 ... q_n] * R, 其中a_i 是原始矩阵的列，q_i是正交规范向量，R是什么？
我这样理解：
1、a_i 是q_i 的线性组合；
2、所以，a_i 可以表达为a_i投影到q_i 上的不同不同向量的组合；
3、例如：a3 = q1* q1^T a3 + q2* q2^T a3 + q3* q3^T a3；
4、注意，比如，这里的q2*q2^T a3，这是a3到q2的投影吗？看上去有点不像？其实是，因为q2^T q2 = 1，这本应该出现的分母被忽略了;
5、把第3步“ * ”后面的部分提取出来就是R。

lego

Bintou 是的，所以R里面第i列是记录了a_i在q_1到q_i里的分量，这点在R是个triangle也能体现出来

lego

以下是一些第三章的题目。不知道是不是我的错觉，这一章“有意思”的题目并没有前面两章多，比较多计算题。

PS 3.1:
T11:注意一下（a）、（b）的区别（感觉这种找matrix space的基的题目就是在找信息
T24:C(AB) \in C(A)，经常用到的结论，🐎一下
PS 3.2:
T59:N（A^T A)=N(A)，也是常用结论，🐎一下
PS 3.4:
T28:还是找matrix space的基的问题，这里需要多少信息呢
PS 3.5:
Page 187讲了CR分解！可能第一次看的时候没把它当回事( ･᷄ὢ･᷅ )
T10：random matrix的rank最有可能是多少？可能需要一些概率相关的知识……
T20（b）：用A的ER分解来找左零空间的基，这个操作🐎一下

Bintou

lego N(A^T A) = N(A)讲对称矩阵的时候用来证明A可逆iff A^T A 可逆？

lego

Bintou 任何矩阵都满足N（A^T A)=N(A)吧。如果是对称矩阵的话，A的四大基本子空间和A^T 的四大基本子空间相同，不用这个结论应该也能说明A可逆 iff A^T 可逆 iff A^T A可逆

lego

更新第四章：

P.S 4.1:
T7:Fredholm's Alternative，想表达的是如果b不在C(A)中，那么在N(A^T )中总能找到一个与b内积为1的向量吗

T9:N(A^T A)=N(A)的证明
P.S 4.2:
page210:The left nullspace is important in projections，感觉这句话挺内涵，🐎一下

T33:Kalman filter

T34:如果P1、P2是投影矩阵，P1P2也是投影矩阵iff P1P2=P2P1
P.S 4.3:
T21:关于e、p、x\hat的空间关系
P.S 4.4:
T6:正交矩阵的乘积也是正交矩阵

T19:分解R=DU,可以证明A^T A的pivots是R的对角线上元素的平方（Gram-schmidt on A corresponds to elimination on A^T A),补充一个page513的fast orthogonalization，LU分解和QR分解的关系可能比我们想象中的要密切

T25:给出了2x2下的QR分解的公式，前提是det>0

T30:给出了一组wavelet但是没怎么深挖

T34:之前讲reflection的时候我讲错了！！Q=I-2uu^T ,u不是mirror，u是垂直于mirror( ･᷄ὢ･᷅ )

lego

越到期末人越浪……跑来更新第五章了嘿嘿嘿。~~虽然第五章里的很多题目都已经讨论过了~~
这一章提到了非常多类似于tridiagonal或者对角线上all-zero的矩阵以及它们的determinant的规律，主要集中在det的通项、周期性还有与fibonacci类似的性质吧。

P.S 5.1:
T7: 给出了reflection matrix的其他形式

T14:GS老先生偏爱的tridiagonal里的-1，2，-1 matrix，可以推det的通项

T18:Vandermonde determinant，推通项的过程中要用到det的蛮多性质，挺有意思的
P.S 5.2:
T15:tridiagonal 1，1，1 matrix，有周期性的determinant

T16:determinant有fibonacci性质的1，1，-1 tridiagonal matrix

T17:det有类似fibonacci性质的-1，2，-1 tridiagonal

T22:det有类似fibonacci性质的1，3，1 tridiagonal（~~131啊嘿嘿嘿~~
P.S 5.3:
page279 cross product的定义

T20:Hadamard矩阵，传说这是一个很厉害的矩阵（逃