麻省理工牛人解说数学体系，MIT牛人解说数学体系

转载《运筹帷幄OR帮》

作者：林达华

一、为什么要进入数学世界

作为一名计算机学生，我什么都不想成为数学家。 我学习数学的目的是希望通过爬上巨人的肩膀，站在更高的高度，能更深入更广泛地看待我自己所研究的事情。 说起来，我刚来这所学校的时候，没有料到会有一次深入数学的旅行。 我的导师最先希望我做的主题是为appearance和motion制作统一的模型。 这个主题在今天的Computer Vision百花齐放的世界里没有什么特别的。 实际上，使用各种Graphical Model将各种各样的东西合并在一起的框架，在近年的论文中并不少见。

不否认，现在广泛流行的Graphical Model是对复杂现象建模的有力工具。 但我认为那不是panacea，并不能取代对所研究问题的深入钻研。 一旦统计学习治愈了百病，许多“下流”学科也就不需要存在了。 事实上，一开始，我也和Vision的很多人一样，想成为Graphical Model——的领导者。 他指出，这样的做法只会重复标准的过程，没有很大的价值。 经过很长时间，另一条路径逐渐确立的——一个图像被认为是由大量“原子”的空间分布构成的，原子群的运动形成了动态的可见过程。 微观意义上的各个原子运动和宏观意义上的整体分布的变换有很深的联系——这一点需要挖掘。

在深入探索这个主题的过程中，遇到了很多问题。 如何描述一般的运动过程，如何构建稳定而广泛适用的原子表示，如何刻画微观运动与宏观分布变换的联系，还有很多。 在这个过程中，我发现了两件事：

我的数学基础已经远远不能适应我对这些问题的深入研究。

数学有很多思想和工具，非常适合解决这些问题，但没有受到许多应用科学研究者的重视。

于是，我决心开始深入数学这片广袤的海洋。 我希望我再次出来的时候，我有更有力的武器来面对这些问题。 我的旅行没有结束。 与这个博大精深的世界的东西相比，我的视野仍然非常狭窄。 在这里，在我眼里，我只讲数学是如何从初级到高级一步步发展的，更高级的数学对具体应用有什么好处。

二、集合论：现代数学的共同基础

现代数学有数不清的分支，但它们有共同的基础——集合论——。 因此，数学这个庞大的家族有共同的语言。 集合论有集合( set )、关系(函数)、等价)、equivalence )这些最基本的概念，在其他数学分支的语言中几乎必然存在。 对这些简单概念的理解，是进一步学习其他数学的基础。 我想理工科大学生对这些都不了解。

但是，一旦有重要的东西，——就不一定家喻户晓。 那是“选择公理”( Axiom of Choice )。 这个公理的意思是“任意非空集合的组，一定可以从各个集合中取出一个个元素”。 ——显然似乎是一个无法进一步阐明的命题。 但是，这个普通公理可以得出巴拿赫-塔斯基分球定理——“一个球分为五个部分，将它们进行一系列刚体变换后变成两个同样大小的球”的奇怪结论。

由于这些完全违背常识的结论，数学界曾经在相当长的一段时间内对是否接受它存在激烈的争论。 现在，主流数学家应该基本上接受那个。 因为很多数学分支的重要定理都依赖于它。 在我们稍后要谈的学科中，以下定理依赖于选择公理。

拓扑： Baire Category Theorem

实分析： Lebesgue不可测集的存在性

泛函分析的四个主要定理： Hahn-Banach Extension Theorem，Banach-steinHaustheorem，uniformboundednessprinciple，Open Mapping Theorem，CLL

基于集合论，现代数学有两个大家庭：分析( Analysis )和代数( Algebra )。 其他如几何学和概率论，在古典数学时代是与代数并列的，因为它们的现代版基本上是以分析或代数为基础的，所以在现代意义上分析和代数不是平行关系。

三.分析：极限建造的宏伟大楼

1

微积分：分析的经典时代–从牛顿到柯西

首先谈谈分析( Analysis )。 这是从微积分( Caculus )发展而来的——。 这也是一些微积分教材名字叫“数学分析”的原因。 但分析的范畴还不止于此，我们大学一年级学习的微积分只能算是经典分析的入门。 导数( derivatives )、积分( integral )、微分方程( differential equation )和级数( infinite series ) —— )这些基本概念在初等微积分中介绍如果说某个思想被贯彻，那就是极限——，这是整个分析的灵魂。

很多人听过的故事是关于牛顿( Newton )和莱布尼茨( Leibniz )微积分发明权的争论。 事实上，在他们的时代，许多微积分工具开始用于科学和工程，但微积分的基础并没有真正确立。

长期无法解释的“无限少量”幽灵，困扰着数学界100多年的时间——。 这就是“第二次数学危机”。 柯西用极限的观点重构了微积分的基本概念，这门学科开始有了比较坚实的基础。 直到今天，整个被分析的大楼都是建在极限的基础上。

柯西( Cauchy )为分析的发展提供了严密的语言，但并不能解决微积分的所有问题。 在19世纪，分析的世界里仍然有一些乌云。 其中最重要的是“函数是否可积的问题”。

像在现在的微积分教科书中学到的那样“将区间无限分割，取矩阵面积和的极限”的积分，是1850年左右由黎曼( Riemann )提出的，称为黎曼积分。 但是，黎曼积分存在的函数是什么呢？ 数学家们早就证明了闭区间内定义的连续函数是黎曼可积的。 但这样的结果并不理想，工程师们需要分段连续函数的函数积分。

2

实分析：在实数理论和测度理论上建立现代分析

在19世纪中后期，不连续函数的可积性问题一直是分析的重要课题。 根据对闭区间定义的黎曼积分的研究，可积性的关键是“不连续的点足够少”。 只有有限处的不连续函数是可积的，但许多数学家们在无限处构造了许多不连续的可积函数。 很明显，测量点的大小时，有限和无限不是合适的标准。

在探讨“点集大小”问题的过程中，数学家发现实轴——这个他们认为充分理解的东西3354有很多他们没有想到的特性。 在极限思想的支撑下，实数理论就是在这个时候创立的。 它的标志刻画了实数的完备性几个等价定理——这些定理明确地体现了实数和有理数的根本区别——完备性。

随着对实数认识的加深，如何度量“点集大小”的问题也随之突破，luberg创造性地将集的代数与Outer content的概念相结合，建立了测度理论，并在测度的基础上建立了测度理论在这个新积分概念的支持下，可积性问题一目了然。

以上所述的实数理论、测度理论和勒贝格积分构成了我们现在称为实分析( Real Analysis )的数学分支，有些书中也称为实变函数论。 对应用科学来说，实际分析似乎没有经典微积分那么“实用”。 ——很难直接在这个基础上得到什么样的算法。 并且，它要解决的一些“难题”——例如是无处不连续的函数、无处连续且无处微小的函数3354，在工程师眼中是不现实的。

但我认为它不是纯粹的数学概念游戏，为许多现代应用数学的分支提供坚实的基础是现实意义。 以下列举一些其有用性：

1 )黎曼可积函数空间并不完备，但luberg可积函数空间完备。 简而言之，黎曼可积函数列收敛的函数不一定是黎曼可积的，但luberg可积函数列必然收敛于luberg可积函数。 泛函分析以及近似理论常常需要讨论“函数极限”，或者“函数级数”。 如果使用黎曼积分的概念，这个讨论几乎是无法想象的。 在一些paper上，说到L^p函数空间，有时会看到基于luberg积分的东西。

2 )勒贝格积分是傅立叶变换的基础。 大多数关于信号处理的初等教材可能绕过卢贝格积分，不谈其数学基础而直接谈实际应用中面临的问题，但对于深入的研究问题——，尤其是想在理论上做一些工作的3354，并不总是绕过。

3 )以下还可以看出测度理论是现代概率论的基础。

3

拓扑学：从实轴到一般空间的分析—现代分析的抽象基础

随着实数理论的建立，大家开始把极限和连续推广到更一般的地方去分析。 实际上，大多数基于实数的概念和定理并不是实数特有的。 很多特性被抽象化，扩展到更一般的空间。 对于实轴的推广，促进了点集拓扑的建立。 许多原本只存在于实数中的概念被提取出来并进行一般性讨论。 在拓扑学中，四个c构成了其核心：

1 )关闭集闭集

在现代拓扑学公理化体系中，开集和闭集是最基本的概念。 一切都是从那里导出的。 这两个概念是开区间和闭区间的普及，它们的根本地位，并不是从一开始就被认识到的。 经过相当长的时间，人们认识到开集的概念是连续性的基础，闭集对极限运算封闭了——，极限是分析的基础。

2 )连续函数

连续函数在微积分中有epsilon-delta语言给出的定义，拓扑学定义为“开集的原像是开集的函数”。 第二个定义与第一个等价，只是用更抽象的语言改写了。 我个人认为，正是那第三个定义才从根本上揭示了连续函数的本质。 ——“连续函数是保持极限运算的函数”3354例如y是数列x1、x2、x3、的极限。 如果f是连续函数，则f(y )为f ) x1，f ) x2)，…的连续函数的重要性可以从另一个领域类比。 例如，在群论中，基础的运算是“乘法”，对群来说最重要的映射被称为“同型映射”——，保持“乘法”的映射。 在分析中，由于基础运算是“极限”，连续函数在分析中的地位与同态映射在代数中的地位相同。

3 )连接集连通集

比其稍窄的概念被称为“Path connected”，存在连接集合中的任意2点的路径的——可能是一般人能够理解的概念。 一般意义上的联系概念有点抽象。 在我看来，连通性有两个重要的用处。 一个是为了证明一般中值定理( Intermediate Value Theorem )，并通过代数拓扑、拓扑群论和李群论讨论根本群。

4 )合成集紧集

Compactness在初等微积分中似乎没有特别出现，但有几个实数上的定理，其实和它有关。 例如，“有界数列中一定存在收敛子列”3354用compactness的语言来说是——“实数空间中有界闭集很紧”。 拓扑学中的一般定义是，听起来很抽象的——“紧集合的任意开放覆盖中存在有限的子覆盖”。 该定义在讨论拓扑学定理时很方便，往往有助于实现从无限到有限的转换。 在分析中，使用了很多与此不同形式的——“集中的数列中一定存在收敛子列”——，体现了分析中最重要的“极限”。 Compactness在现代分析中应用非常广泛，无法解释清楚。 微积分中的两个重要定理：极值定理( Extreme Value Theory )和一致收敛定理( Uniform Convergence Theorem )可以利用它推广为一般形式。

从某种意义上说，点集拓扑学可以看作是关于“极限”的一般理论，它抽象为实数理论，其概念几乎成为所有现代分析学科的通用语言，也是整个现代分析的基础。

4

微分几何：在流形上的分析——拓扑空间中引入微分结构

拓扑学将极限概念推广到了一般的拓扑空间，但这不是故事的结束，而仅仅是一个开始。 在微积分中，极限之后有微分、求导和积分。 这些东西也扩展到拓扑空间，根据拓扑学制作——的是微分几何学。 在教学上，微分几何教材有两种不同的类型。 一种是基于经典微机分的“经典微分几何”，主要是关于曲率等二维和三维空间中一些几何量的计算。 另一种是基于现代拓扑学，这里统称为“现代微分几何”——。 其核心概念是“流形”( manifold ) ——是在拓扑空间中增加了可以进行微分运算的结构。 现代微分几何学是一门非常丰富的学科。 例如流形上微分的定义比传统的微分更丰富。 我本人曾见过三个不同角度给出的等价定义——这一方面使事情变得复杂，而另一个方面往往给了同一概念不同的理解，在解决问题时会引出不同的思路。 除了传播微积分的概念之外，还引入了许多新概念，如tangent space、cotangent space、push forward、pull back、fibre bundle、flow、immersion和submersion

近年来，流形在machine learning中似乎相当流行。 但坦率地说，要理解一些基本的流形算法，进而“建立”一些流形算法，并不需要太多的微分几何基础。 对我的研究来说，微分几何学最重要的应用是站在其上的另一个分支：李群和李代数——这是数学中两大家族分析和代数的漂亮婚姻。 分析和代数的另一个重要结合是泛函分析和在此基础上的调和分析。

四.代数：抽象世界

1

关于抽象代数

回顾一下，谈谈另一个大家庭的——代数。

如果说经典微积分是分析的入门，那么现代代数的入门点是两个部分。 据悉，线性代数( linear algebra )和基础抽象代数( abstract algebra ) ——在国内部分教材中被称为近世代数。 在代数——名中被研究的好像是数字，但在我看来，主要是研究运算规则。 代数实际上是从某一具体运算体系中抽象出一些基本规则，建立公理系统，并在此基础上进行研究。 一个集合加上一个运算规则，就构成一个代数结构。 在主要代数结构中，最简单的是群( Group ) ——，符合耦合率的可逆运算只有一个，通常称为“乘法”。 如果这个运算也符合交换率的话，就叫做亚伯集团( Abelian Group )。 当存在满足交换率和耦合率的加法、满足耦合率的乘法、满足耦合率并在它们之间满足分配率的加法两种运算时，这种丰富的结构称为环( Ring )，当环上的乘法满足交换率时，称为可交换环( commutation ) 如果一个循环的加法和乘法具有所有好的性质，就成为一个场( Field )。 基于域，可以构造可加法和平方的新结构，从而构成线性代数( Linear algebra )。

代数的优点是不管参与运算的对象如何，都只关心运算规则的演绎。 只要定义得当，猫就能骑着狗得到猪：-)。 基于抽象运算规则得到的所有定理都完全适用于以上所述的犬猫乘法。 当然，在实际运用中，我们希望用它来做有意义的事情。 学过抽象代数的人都知道，根据几个最简单的规则，比如结合律，可以得出很多重要的结论——这些结论可以适用于满足这些简单规则的所有地方，这就是代数的威力。 我们不需要在每个特定领域重建这么多定理。

抽象代数上根据几个基础定理，进一步研究往往可分为两个流派。 研究有限离散代数结构。 这部分内容通常用于数论、编码、整数方程等方面。 另一流派是研究连续代数结构，通常将拓扑和分析联系在一起。 我学习中的focus主要是后者。

2

线性代数：“线性”的基础地位

对于做Learning、vision、optimization或statistics的人来说，接触最多的是线性代数——，这也是在大学低年级开始学习的。 线性代数包括在此基础上建立的各种学科，最核心的两个概念是向量空间和线性变换。 线性变换在线性代数中的地位与连续函数在分析中的地位，或者说与群论中的同态映射相同——它是保持基础运算的映射。

在learning中，——蔑视线性算法，倾向于标榜非线性。 在许多情况下，非线性可能需要来表示复杂的现实世界，但在任何时候，线性都具有根本的地位。 没有线性基础，就不存在所谓的非线性推进。 我们常用的非线性化方法有流形和kernelization。 两者都需要在某个阶段回归线性。 流形需要在每个局部建立与线性空间的映射，通过连接许多局部线性空间形成非线性，kernerlization通过置换内积结构将原始线性空间“非线性”映射到另一个线性空间，进行线性空间中的可约操作。 在分析领域，线性运算更是随处可见，微分、积分、傅立叶变换、拉普拉斯变换以及统计中的均值都是线性的。

3

泛函分析：从有限维到无限维的前进

在大学里学习的线性代数，其简单主要是在有限维空间里进行的，所以是有限的，所以没有必要利用太多的分析手段。 但是有限维空间不能有效地表达我们世界——最重要的事情，函数构成了线性空间，但它是无限维的。 对函数进行的最重要的运算是在傅立叶变换和小波分析等无限维空间中进行的。 这表明，为了研究函数，打破有限维空间的束缚，进入无限维函数空间——的第一步是泛函分析。

泛函分析( Functional Analysis )研究的是包含有限维和无限维的一般线性空间，但大多数在有限维中看似trivial，真正的困难往往出现在无限维时。 在泛函分析中，空间中的元素仍称为向量，但线性变换通常称为“运算符”( operator )。 除了加法和平方，这里还增加了范数，进行了表示“向量的长度”和“要素的距离”的运算。 这样的空间称为“范数线性空间”( normed space )，可以添加更多内积运算。 这样的空间称为“内积空间”( Inner product space )。

进入无限维的时间，我发现很多旧观念不再适用，一切都需要重新审视。

1、所有的有限维空间都是完备的，但许多无限维空间是不完备的。 这里，完整的空间有一个特殊的名称。 完整赋范空间称为巴拿赫空间( Banach space )，完整内积空间称为希尔伯特空间( Hilbert space )。

2 .在有限维空间中空间与其对偶空间是完全同构的，但在无限维空间中存在着微妙的差异。

3、在有限维空间中，所有线性变换都是有界变换，但在无限维中，许多算子是无界的，最重要的一个例子是向函数求导。

4、在有限维空间中，所有有界闭集都是紧的，如单位球。 另一方面，在所有的无限维空间中，单位球并不紧——。 也就是说，可以在单位球内散布无限个点，不会出现极限点。

5 .在有限维空间中，线性变换的谱相当于所有的特征值，在无限维空间中，算子谱的结构比这复杂得多。 除了由特征值构成的点光谱外，还有approximate point spectrum和residual spectrum。 虽然很复杂，但更有趣。 由此，形成了相当丰富的分支——算子谱论( Spectrum theory )。

6、在有限维空间中，任何点对任何子空间总是存在投影，但在无限维空间中，这并不一定。 具有这种良好特性的子空间有特殊名称的切比雪夫空间( Chebyshev space )。 这个概念是逼近现代理论的基础( approximation theory )。 函数空间近似理论在学习中应具有十分重要的作用，但运用现代近似理论的文章并不多见。

4

前进：巴拿赫代数、调和分析、李代数

的基本泛函分析继续向前推进，有两个重要方向。 第一个是巴拿赫代数( Banach Algebra )，在巴拿赫空间中引入乘法。 例如矩阵——它不仅可以做加法和乘方，还可以做乘法——。 这构成了巴拿赫代数。 此外，值域完备的有界算子、平方可积函数都构成巴拿赫代数。 巴拿赫代数是泛函分析的抽象，关于有界算子得到的结论很多，算子谱论中的定理也很多。 它们不仅适用于运算符，实际上从一般的巴拿赫代数中得到，也适用于运算符以外的地方。 巴拿赫代数会让你在泛函分析中的结论站在更高的水平上。 但是，我还需要考虑的是，它在实际问题上是否会带来比泛函分析更多的东西。

泛函分析与实际问题最为联系的另一个重要方向是调和分析( Harmonic Analysis )。 这里列举了那两个子领域，傅立叶分析和小波分析，我认为这已经可以说明其实际价值了。 研究的核心问题是利用基函数逼近和构造函数。 研究的是函数空间问题，必然要基于泛函分析。 除了傅立叶和小波，调和分析还研究了Hardy space、Sobolev space等有用的函数空间。 这些空间有很多好的性质，在工程和物理学上都有重要的应用。 对vision来说，调和分析信号的表现、图像的结构是非常有用的工具。

分析与线性代数相结合，产生了泛函分析和调和分析； 分析和群论一起，我们有李群( Lie Group )和李代数( Lie Algebra )。 它们赋予了连续群上的元素代数结构。 我觉得这是非常美丽的数学。 在一个体系中拓扑、微分和代数到达了。 在一定条件下，通过李代数与李代数的联系，它通过将几何变换的耦合化为线性运算，将子群化为线性子空间，为学习中许多重要模型和算法的引入创造了几何运动建模的必要条件。 因此，我相信李群和李代数对vision有着重要的意义。 只是，学习那条路可能很困难。 在那之前需要学习很多别的数学。

五.当前概率论：在现代分析的基础上再生

最后，简要介绍概率论是许多Learning研究者特别感兴趣的数学分支。 自从Kolmogorov在20世纪30年代将测度引入概率论以来，测度理论成为现代概率论的基础。 在这里，概率被定义为测度，随机变量被定义为可测函数，条件随机变量被定义为可测函数在函数空间的投影，平均值是可测函数对概率测度的积分。 值得注意的是，许多现代观点开始用泛函分析的思维来看待概率论的基础概念。 随机变量构成向量空间，有符号概率测度构成其对偶空间，当一方加入对方时形成平均值。 虽然角度不同，但这两种方式意外地相同，形成的基础是等效的。

基于现代概率论，许多传统分支变得非常丰富。 最具代表性的是鞅论( Martingale ) ——赌博研究理论，目前主要用于金融，基于布朗运动——连续随机过程的基础和建立的随机分析) Brownian Motion

作者：林达华

来源： P.LINUX LABORATORY