攻读计算机视觉和机器区别，机器视觉和计算机视觉

1 .线性代数( Linear Algebra ) :

我想国内的大学生都上过这门课，但不是所有的老师都能贯彻其中的精要。 这门学科对学习来说是必不可少的基础，对它的彻底掌握是必不可少的。 我在科大一年级的时候学过这门课，到了香港后，又重新读了一遍线性代数。 读的是

introductiontolinearalgebra ( 3rd ed.) by Gilbert Strang。

这本书是MIT线性代数课上使用的教材，也是很多其他大学选择的经典教材。 其难度适中，说明清晰，重要的是对许多核心概念进行了充分的讨论。 对于我个人来说，学习线性代数最重要的是深入了解子空间、本征值和本征向量、eigenvaluesandeiii这几个基础而重要的概念，而不是矩阵运算和解方程方法——这一实务可以由MATLAB代理线代教科书的质量在于能否充分重视这些根本概念，能否分清它们之间的联系。 Strang的这本书在这方面做得很好。

而且，这本书有得天独厚的优势。 本文作者长期在MIT上线性代数课( 18.06 )，课程视频在MIT的Open courseware网站上提供。 有时间的朋友可以一边看名人课的视频，一边对照教科书学习复习。

3358 OCW.MIT.edu/OCW web/mathematics/18-06 spring-2005/course home/index.htm

2 .概率和统计：

虽然有很多概率论和统计的入门教科书，但我目前也不特别推荐。 这里介绍的是关于多元统计的基础教科书：

appliedmultivariatestatisticalanalysis ( 5t hed.) byricharda.johnsonanddeanw.wi chern

这本书是我刚接触矢量统计时用来学习的，我在香港的时候为研究奠定了基础就是从那里开始的。 实验室的一些学生借这本书学习矢量统计。 这本书没有特别追求数学深度，而是把主要的基本概念讲得通俗易懂，内容也很实用。 在learegression、factor analysis、principalcomponentanalysis(PCA )、andcanonicalcomponentanalysis ( CCA )等学习中

然后，可以进一步深入学习贝叶斯统计和Graphical models。 理想的书是

introductiontographicalmodels ( draft version ).by M. Jordan and C. Bishop。

我不知道这本书是否出版了。 该书从基本的贝叶斯统计模型出发，深入到复杂统计网络的估计和估计，详细论述了静态学习的许多重要方面。 在MIT内部可以访问，外面好像也有电子版。

3 .分析：

我想大家几乎都在大学里学过微积分和数学分析，但深度和广度因学校而异。 这一领域是许多学科的基础，值得推荐的教科书不过分

principlesofmathematicalanalysis，by Walter Rudin

虽然有点旧，但绝对经典，深入人心。 缺点是很难。 ——这是Rudin书的一贯风格，适合有了基础再回顾。

分析此方向后，接下来是泛函分析。

introductoryfunctionalanalysiswithapplications，by Erwin Kreyszig。

适合作为泛函的基础教材，切入而全面。 我特别关注谱论和算子理论。 这对学习的研究特别重要。 Rudin也有一本关于functional analysis的书。 那本书在数学上可能更深，但不容易得到。 说的内容和learning的适合度比这本书差。

在分析这个方向上，另一个重要的学科是测度理论( Measure theory )，但我觉得我读过的书目前没有什么值得介绍的。

4 .拓扑结构：

虽然我读过的基本拓扑书各有特色，但总的来说，我最推荐：

Topology(2nded.) by James Munkres

本书是Munkres教授长期指导MIT拓扑学课程的心血。 一般拓扑( General topology )已有全面介绍，但代数拓扑( General topology )也有适度的探讨。 这本书不需要特别的数学知识就可以开始学习，从浅到深，涵盖了从最基本的集合论概念到Nagata-Smirnov Theorem和Tychonoff theorem等深层定理。 我经常阅读到，讲述者具有很强的思想性，对于很多定理，不仅要展示证明过程，引导我们思考其背后的原理脉络，很多精彩的亮点——也让我们忘记了饥饿，不愿放手。 习题大多水平很高。

5 .流形理论( Manifold theory ) :

当你对拓扑和分析有一定的信心时，你就可以开始学习流形理论了。 否则，所学的东西只会流于浅薄。 我用的书是

introductiontosmoothmanifolds.byjohnm.lee

书名中有introduction这个单词，但实际上这本书涉及很深，除了讲授了基本的manifold、tangent space、bundle、sub-manifold等外，还讨论了拔河理论( category thed ) 文章通俗而严谨，但需要熟悉一些符号方式。

李群论是建立在基于光滑流形的概念之上的，而直接从矩阵中学习李群和李代数——，对于需要用李群论解决问题的朋友来说可能更为实用。 另外，对一个问题从不同的角度来看也有助于加深理解。 下一本书是这个方向的模型。

Lie Groups，Lie Algebras，Andre presentations:anelementaryintroduction.bybrianc.hall

这本书一开始就从矩阵切入，从代数的角度而不是几何的角度引入了矩阵李群的概念。 通过定义运算构造扩展映射，并就此引入李代数。 这种方式比传统的“左不变矢量场”方式更容易接受定义李代数，也更容易揭示李代数的意义。 最后，还有将这种新的定义方式与传统方式相结合的专门论述。

————————————————————————————

无论是研究Vision、Learning还是其他学科，数学毕竟都是基础。 学好数学是良好研究的基础。 学好数学的关键毕竟是自己的努力，但选择好书是大有好处的。 每个人都有不同的知识背景、思维习惯和研究方向，所以对书籍的选择也因人而异，只求适合自己，不必强求一致。 上面的书只是从我个人的角度介绍，我的阅读经验非常有限，很可能有比它们更好的书。

( ( ) ) ) ) ( ( ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) 652 )

学习中代数结构的构造

学习是融合了许多数学的领域。 说起与此相关的数学学科，你可能会马上联想到基于线性代数和向量空间建立的统计模型——，但主流论文中确实很大程度上是基于它们。

r^n(n-维实向量空间)是我们在paper中看到最多的空间，它确实非常重要和实用，但仅仅这样表达我们的世界是不够的。 实际上，数学家们一直为我们提供了丰富的工具。

“空间”( space )，这是一个非常有趣的名词，出现在几乎所有数学分支的基础定义中。 归纳起来，空间是指集合和在此基础上定义的数学结构。 关于这个数学结构的定义或公理，是这个数学分支的基础，一切都从那里展开。

还是从我们最熟悉的空间——R^n说起吧。 平时使用这个空间的时候，不仅是线性运算，测量结构和内积结构等其他的数学结构也在使用。

第一，拓扑空间。 而且从拓扑学的观点来看，normal ( implyinghausdorffandregular )、Locally Compact、Paracompact、with Countable basis、simplyconnectis

第二，它是测量空间。 可以计算上面任意两点的距离。

第三，它是有限维向量空间。 因此，可以对中的元素进行代数运算，给出一组有限的基，从而可以用有限维坐标表示各元素。

第四，基于测量结构和线性运算结构，可以构建分析( Analysis )体系。 我们可以对连续函数进行微分、积分，建立微分方程求解，可以进行傅立叶变换和小波分析。

第五，希尔伯特空间( Hilbert space，Complete inner product space )。 有一种方便计算的称为内积( inner product )结构——的空间测量结构，实际上是由其内积结构衍生的。 更重要的是，“完整”( Complete ) ——表示“柯西序列”( Cauchy sequence )都是有限的。 ——很多人无意中使用了这个特性，但习惯上我觉得这是理所当然的。

第六，由其上线性映射构成的算子空间仍然是有限维的——的一个非常重要的优点是，所有的线性映射都可以用矩阵唯一地表示。 特别是，因为它是有限维完备空间，所以它的泛函空间和它本身是同构的，也是R^n。 因此，这些光谱结构也可以从矩阵的特征值和特征向量中得到。

第七，它是测度空间——可以计算子集的大小。 正因为如此，我们才能在上面建立概率分布( distribution ) ——。 这是我们接触的大多数连续统计模型的基础。

你会发现这是一个非常完美的空间，在数学上为我们的应用提供了一切便利。 在此基础上，我们可以认为它具有我们所希望的各种良好性质，而不需要特别的证明； 无需从头开始构建，即可直接使用各种运算结构； 而且，很多本来不同的概念在这里等价了，所以我们不需要分辨它们的不同了。

以此为界，学习的主要工作可分为两大类：

1 .建立类似于上面讨论的R^n空间中的表示形式。

2 .获得有限维矢量表示后，建立各种代数算法或统计模型进行分析和处理。

这里只讨论第一个范畴。 首先，让我们看看现在广泛使用的方法：

1 .根据原始数据直接制作表达。 我们关心的最终目标是现实世界的对象，包括照片、语音、文章和交易记录。 这些东西大部分本身没有数值矢量附着。 为了制作矢量表示，可以将传感器记录的数值或用其他任何方法收集到的数值数据按照一定的顺序排列来制作矢量。 如果有n个数字的话，可以认为它们在R^n中。

但是，这在数学上有点问题，在大多数情况下，根据数据产生的物理原理，这些向量的值域并不能充满整个空间。 例如，图像的像素值通常为正值，处于有界闭集合中。 这存在进行线性运算时得到的可能性高的结果溢出到正常范围的问题。 ——在大多数paper中，使用几种heuristics手段简单处理或完全无关，在数学上深入探讨这一点的3354并不多见，但只要能解决实际问题，这也无可厚非。 毕竟，并不是所有的工作都需要像纯数学一样追求严谨。

2 .量化。 这是处理连续信号时广泛采用的方式。 只是习惯了，一般只是不叫名字。 例如，在空间信号和时间信号情况下，这些域中的值是非可数无限大( uncountably infinite )，不仅不能用有限维向量来表示，即使用无限序列来表示也不可能. 在这种情况下，一般在有限域内，以一定的顺序按一定的距离取点，表示其周围的点，从而形成有限维的表现。 这就是时域或空域中信号的量化。

这样做不可避免地会失去信息。 但是，由于小邻域内信号的高度相关关系，信息丢失的程度往往不明显。 而且，理论上，这相当于频域中的低通过率。 对于有限能量的连续信号，在无限高频域仍然不能保持足够的强度，只要采样密度足够，可以任意减少。

除了表示信号外，量化还经常用于几何形式的表示，例如表示curve和surface。

3 .用有限的个数充分表达一个对象可能不是最难的事。 但是，在其上建立数学结构并不总是如此。 一般来说，要处理它，首先需要一个拓扑来描述空间上的点是如何连接在一起的。 直接构建拓扑在数学上非常困难，并不一定实用。 因此，大多数工作都采用先建立测量结构。 一个测量空间，其测量自然诱导拓扑结构——，但在很多情况下，我们似乎忽略了它的存在。

最简单的方法是使用原始向量表示的“欧几里得距离”( Euclidean distance )作为metric。 但是，根据原始表现值的特性，这种方式一般不太有效，也未必能有效地表现出实际对象的相似性。 因此，许多工作都可能在此基础上进行度量的二次建立。 方式多种多样，一种是求解映射，将原始空间的元素转化为新的空间，在那里欧几里得距离更合适。 此映射的作用包括筛选、整合信息，以及增强或抑制某些部分。 这就是大部分关于feature selection、feature extraction或subspace learning的文章所做的。 另一种方式是直接调节距离的计算方式。

这两种方式并不一定不同。 如果映射是单向的，则表示在原始空间中创建了不同的测量。 相反，通过改变距离计算方式建立的度量在特定条件下对应于某种映射。

4 .您可能已经注意到，上述测量方法，例如欧几里得距离，需要对元素进行代数运算。 在通常的向量空间中，线性运算是自然给出的，我们不需要特别制作，所以可以直接测量的结构——也是大部分工作的基础。 但是，有些原始表达不是n-tuple。 那可能是set、graph或其他特别的object。 怎么做代数运算？

一个方法是直接制作。 就是给这些东西定义自己的加法和平方。 这往往不那么直接，需要深厚的数学知识，可能需要对问题本身有深刻的理解和数学洞察力。 但是，新的代数结构建立后，拓扑、度量、分析、内积结构等其他数学结构也会被自然诱导出来，使我们有基础对该目标空间进行各种数学运算和操作。 加法和乘方看起来很简单，但是对于本来就不知道加法和乘方方法的空间，如果制作了这两个东西的话，其理论上的贡献是非常大的。

因此，它们在代数意义上是统一的，对应的estimation或evaluation也可以使用代数运算derive。 这不是我的研究范围，而是超出了我现在的能力和知识水平，但我相信理论上的重要意义，作为愿景的问题仍然存在。 实际上，数学中确实有一个分支，叫Algebraic statistics，可能在讨论同样的问题，但现在关于它非常有限。 ) )

5 .回到正题吧。 除了直接创建运算定义外，还有一种方法是嵌入( embedding )到某个向量空间中，继承其运算结构供我使用。 当然这种嵌入也不是胡说八道，需要保持这些对象本来的某种关系。 最常见的是距离保持嵌入( isometric embedding )，我们首先构建度量结构，然后将这个空间嵌入目标空间，通常是有限维向量空间，要求度量保持不变。

“嵌入”是数学中广泛应用的手段，其主要目标是嵌入到属性良好、结构丰富的空间中，以利用其结构或运算体系。 在拓扑学中，嵌入metric space是对某些拓扑空间建立尺度的重要手段。 在这里，我们是在现有的度量的情况下，通过嵌入获得线性运算的结构。 从那以后，另一个就是前几天兴起的manifold embedding，这是通过维持局部结构的嵌入，获得全局结构，在后面叙述。

6 .下一个重要的代数结构是内积( inner product )结构。 内积建立后，范数( norm )这一性质良好的度量被直接引导，拓扑结构被引导。 一般来说，内积应该基于线性空间。 否则，甚至无法验证二元运算是否为内积。 但根据kernel理论，对于给定空间，只要定义满足正定核( positive kernel ) —— )正定条件的二元运算，必然存在希尔伯特空间，其内积运算等价于核运算. 该结论的重要意义在于，我们可以绕过线性空间，首先通过定义kernel的方式，推导出再生核希尔伯特空间Reproducing Kernel Hilbert Space线性空间，自然获得我们所需的度量结构和线性运算结构。 这是kernel theory的基础。

很多教科书都以二次核为例，将二维空间作为三维，教kernel用于维度提升。 对于这个说法，我一直觉得在某种程度上有误解。 其实，kernel最重要的意义是内积的构建，从而引导出更有利于表达的度量和运算结构。 对于一个问题来说，选择符合问题的kernel比关注“维度提升”更重要。

kernel被认为是非线性化的重要手段，用于处理高斯以外的数据分布。 这很有道理。 由nonlinear kernel改造的内积空间，其结构和原空间的结构确实不是线性相关的，在此意义上进行了非线性化。 但是，我们还应当理解，其最终目标还是回到线性空间。 新的内积空间仍然是线性空间，它一经建立，随后的运算都是线性的。 因此，kernel的使用是为了寻求新的线性空间，为了使线性运算更合理的——非线性化的改造最终必须为线性运算服务。

有趣的是，kernelization本质上还是一个嵌入过程。 对一个空间先构造内积结构，并嵌入高维线性空间以保持内积结构，继承其线性运算体系。

7 .以上都是从全局方式建立代数结构的过程，但它必须以某种全局结构为基础。 但全局结构并不一定存在或符合，局部结构往往简单方便。 这里形成一个策略，局部达到全局——是流形( manifold )思想，其根源是拓扑学。

从拓扑学的角度来说，流形是一个非常好的拓扑空间。 符合Hausdorff分离公理，符合第二可数公理，而且更重要的是，局部同胚是r￣n。 因此，一个正则( Regular )流形基本上具有各种最好的拓扑性质. 而局部r￣n有胚，至少局部可以继承r￣n的各种结构，如线性运算和内积，建立分析体系。 事实上，由拓扑流形继承这些结构而成的体系，正是现代流形理论研究的重点。 继承分析体系的流形形成了现代微分几何的核心——微分流形( Differential manifold )。 微分流形各点的切空间( Tangent Space )获得了线性运算的体系. 进而继承局部内积结构的流形形成黎曼流形( Riemann manifold )，流形的全局测量体系——测地距离( geodesics )正是通过扩展局部测量得到的。 另外，流行本身的拓扑结构和切片空间上的线性结构相关的——，也获得拓扑相关的线性空间——矢量簇( Vector bundle )。

manifold theory作为现代几何学的核心，是一个博大精深的领域，但在学习方面的应用非常狭窄。 其实，对于manifold，很多学习的朋友都会首先对ISOMAP、LLE、eigenmap等算法做出反应。 这些都属于嵌入式。 当然，这确实是流形理论的重要方面。 严格地说，由于要求从原始空间到其映射的微分同胚映射，嵌入的空间具有局部相同的分析结构，同时还可以得到各种优点——全局线性运算和度量。 但是，即使在learning的应用中——微分同胚得到了相当大的缓解，这一概念也不能完全保证，整个分析结构也不能完全保留。 更引人注目的是保持局部结构的某些方面——，这也可以通过实际应用权衡来理解。 事实表明，在原始空间数据足够密集的情况下，这些算法工作良好。

流形在Learning中应用的真正问题是它被过度滥用于稀疏空间。 实际上，高维空间散布着数千乃至数十万个点，即使是最相邻的点也很难称为局部。 局部范围和全局范围其实没有根本差别，当连局部概念都不能建立时，以后在此基础上开展的所有工作都没有多大意义。 事实上，稀疏空间有其自身的规律和规律，本质上不适合形成局部全局的流形思想。 然而，流形是一个非常优美的理论，但再优美的理论也需要用到——，应该用于解决具有密集数据分布的低维空间。 但是，在一些paper报道的高维空间中使用流形方法获得性能提高，实际上很可能不是“流形”本身所起的作用，而是其他因素。

8 .流形在实际应用中发挥重要作用，还有另两个方面。 一类是研究几何形体的性质，以及由其与代数结构的结合形成的李群( Lie group )和李代数( Lie algebra )。 当对象是变换本身时，它们构成的空间具有特殊性。 例如，所有子空间投影都形成Grassmann流形，所有可逆线性算子，或者说仿射算子也形成各自的流形。 因为他们最重要的操作是变换的结合而不是加法乘法，所以在这些上面定义的更合适的代数结构应该是群的，不是线性空间。 群和微分流形的结合体——李群成为它们的最优描述体系——，其截断空间构成了一个加强的线性空间：李代数用于描述其局部变化特性。

李代数和李群的关系很漂亮。 将变换的细微变化转化为线性空间的代数运算，将传统的基于线性空间的模型和算法移植到李空间成为可能。 而且李代数的矩阵比变换本身的矩阵更能反映变换的特性。 几何变换李代数矩阵的谱结构非常便于分析变换的几何特性。

最后，回顾嵌入这一应用的广泛策略，learning中的isometry、kernel、manifold embedding都属于这一范畴，分别保留了原空间的度量结构、内积结构和局部结构

在获得这一系列好处的同时，还有值得我们关注的地方。 首先，嵌入是一种数学手段，不能代替对问题本身的研究和分析。 不合适的原始结构或嵌入策略，往往相反——，例如稀疏空间流形嵌入，或者也适合选择不合适的kernel。 另外，嵌入适合分析，不一定适合重构和合成。 这是因为嵌入是单射( injection )，目标空间并非所有点都能够与原空间有效地对应。 嵌入后续运算通常会破坏对原始空间施加的限制。 例如，即使两个元素从原始空间拍摄，如果它们的和不一定有原始图像，则不能直接返回原始空间。 当然，也考虑在原空间中寻找其映射最近的点，但这是否实际有效还有待商榷。

关于学习的数学世界非常广阔，随着我学习和研究的深入，现在越来越多适合我平时不介意的数学分支中问题的结构和方法。 例如，groupoid (和algebroid )长期以来一直困扰着能够克服连续变换过程中李群和李代数的一些困难——。 解决问题和建立数学模型是相辅相成的，一方面明确的问题有明确的目标寻求合适的数学结构，另一方面深入理解数学结构对解决指导问题也有重要作用。 解决一个问题，最重要的是选择合适的数学工具而不是高级的，但在现有数学方法遇到困难时，求助于更高级的数学，往往会变得柳暗花明。 通过数学家长的时间努力解决的许多问题不是理论博弈。 他们的解决方案往往包括我们需要的东西。 而且，有可能导致更多问题的解决。 但是，我们需要时间学习和发现它们。

拓扑：在直观和抽象之间往返

最近，我抽空又读了一遍点集拓扑。 这是我第三次重新学习这个理论。 我很少看电视剧和小说，有兴趣看第二遍，但关于数学，每看一遍都有新的启发和收获。

代数、分析、拓扑被称为现代数学的三大柱石。 最初读拓扑学是在两三年前，因为有必要学习流形理论。 但随着知识的积累，我们发现它是许多理论的基础。 可以说，没有拓扑，就没有现代意义的分析和几何学。 在各种数学分支中涉及的最基本的概念，如极限、连续、距离、边界和路径，在现代数学中源于拓扑。

拓扑学是一门非常奇怪的学科，它把最直观的现象和最抽象的概念联系起来。 拓扑描绘了普遍使用的概念，我们熟知这些概念，理所当然地使用，但要真正定义它，需要对它们本质的最深刻的洞察。 数学家们经过长时间的努力，得出了这些概念的现代定义。 其中很多乍一看，觉得不可思议的是——为什么会被这样定义。

首先是开集。 学习初等数学的时候，我们都学习开区间( a，b )。 但这只是在一条线上，如何拓展到二维空间，或者更高维空间，或者别的形体呢？ 最直观的想法是“不含边界的集合”。 但是，发生了问题。 一个集合，“边界”是什么？ 在拓扑学中，开集( Open Set )是最根本的概念，是基于集合运算定义的。 开集必须满足开集的任意并集和有限交集仍为开集的条件。

一开始，我对这样的定义方式确实感到困惑。 然而，随着阅读的深入，许多证明，这种定义的一个重要意义在于，在公开中心的每个点中包括的附近确保了该集合中的所有——个点与外界保持距离。 这样的理解应该比使用集合运算的定义具有更明确的几何意义。 但直观并不容易直接形成严格的定义，使用集合运算更为苛刻。 在集合运算的定义中，任意并集的封闭性是对该几何特征的内在保证。

另一个示例是“连续函数”( Continuous Function )。 学习微积分时，一个广为人知的定义是“对于任何epsilon 0，都存在delta 0，请参阅。 请参阅。 ”。背后最直观的意思是“保证足够近的点映射到任意小的范围”。 但是，epsilon，delta都依赖于实际空间，在实际空间中的映射怎么办呢？ 拓扑的定义是“如果映射值域中任何开集的原始图像都是开集，则它是连续的。 ”。 这里什么epsilon都没有。 \”开集的原像是开集. \”

这里，重要的是，在拓扑中，召集的最重要的意义是包含传达“附近”的意思的——召集本身的点的附近。 这样连续定义就合情合理了。 稍微调节说法，上面的定义是“对于f(x )的任意附近u，存在x的附近v，使得v中的点被映射为u。 中选择所需的族。

这里面，可以感受到为什么在拓扑结构中开集有根本的意义。 开集既然传达了“附近”的意思，那么表达哪个点近是最重要的作用。 给出了拓扑结构，指出哪个是开集，哪个点近，形成集合结构——，这就是拓扑。

但是，这也可以通过距离来描述。 为什么要用开集呢？ 反而不直观。 在某种意义上，拓扑是“定性的”，而距离测量是“定量的”。 随着连续变形，距离会不断变化，但靠近的点还在靠近，因此本身固有的拓扑特性不会改变。 拓扑学研究了这一本质特性——在连续变化中的不变性。

拓扑的基本概念中，最费解的莫过于“紧密性”( Compactness )了。 空间和集合表示“紧不紧”。 正式定义是“一个集合的任意开盖如果有有限的子盖，那就太紧了”。 乍一看，真令人费解。 你想说明什么呢？ 这和“紧”这个形容词有什么关系呢？

从直觉上理解，有些集合是“紧的”。 也就是说，无限个的点被分散开来，不能充分分散。 不管邻域多么小，总有几个邻域中有无限的点。 以上关于compactness的这个定义的玄秘术在有限和无限的变换中。 紧密的聚会，覆盖在无限的小附近。 但是，总是可以通过找到其中的有限个来弥补。 那么，结果是什么呢？ 散布着无限的点，总是有一个附近包裹着无数的点。 无论邻域们多么小，这样——确保了无限序列中存在极限点。

Compact这一概念虽然有点不直观，但在分析中具有非常重要的作用。 因为它与极限的存在性——有关。 这是数学分析的基础。 知道泛函分析的朋友往往会看序列是否收敛。 这就是微积分中重要定理——有界数列必然包含收敛子序列的原因。

在学习拓扑学，或者其他现代数学理论之前，我们的数学一直在有限维欧氏空间中，它是一个完美的世界，拥有一切良好的属性，Hausdorff，Locally compact，Simply connected，conected 这时，理所当然的东西就变得不那么必然了。

两点一定能分开吗？ 必须证明空间是Hausdorff。

有界数列一定有极限吗？ 这只是locally compact的空间。

一个连续体内的任意两点必须有路径连接？ 这不一定。

一切看起来都违背常识，但确实存在。 从线性代数到一般群，从有限维到无限维，从度量空间到拓扑空间，整个识别都需要重新组织。 而且，这些绝对不仅仅是数学家的概念游戏。 因为我们的世界并不是用有限维向量就能充分表达的。 当我们研究非向量所能表达的东西时，测量、代数和分析的概念必须重构，起点在拓扑结构上。

机器学习与计算机视觉相关数学

作者： Dahua

数学总觉得不够。 这一天，为了解决research的几个问题，在图书馆拿到了数学教科书。 从大学到现在，我发现课堂上学的数学和自学的数学其实不少，但在研究过程中需要不断补充新的数学知识。 学习和Vision都是很多数学的交叉点。 从不同理论体系的交集来看，对于一个researcher来说，往往是一个非常可执行的可编程逻辑。 但是，这表明很难充分理解这一领域并取得有意义的进展。 我记得在两年前的博客中，提到了与learning有关的数学。 今天，我似乎对数学在这个领域的作用有了新的想法。 1、Linear Algebra (线性代数)和Statistics是Learning研究中最重要和不可缺少的。 这代表了机器学习中最主流的两种方法的基础。 一种是侧重于函数和变换研究的代数方法，如Dimension reduction、feature extraction、Kernel等，另一种是侧重于统计模型和样本分布研究的统计方法，如graphication 虽然这些作为信息技术的重点各不相同，但常常被广泛使用，对代数方法需要统计解释，对统计模型的具体计算需要代数帮助。 如果你以代数和统计为出发点，继续向里走，你会发现你需要更多的数学。 2、Calculus (微积分)只是数学分析体系的基础。 其基础性作用不言而喻。 Learning研究的大部分问题都是在连续度量空间中进行的，在研究代数和统计优化问题时，总是不可避免地要进行一个映射的微分和梯度分析。 统计学上，Marginalization与积分关系更为密切，但以解析形式导出积分的情况较少见。 3、方差导出，但是，实际上其他测度体系——概率本身就是测度。 测度理论对学习的意义是根本性的，现代统计学是建立在测度理论基础上的——，但初级概率论教科书并未被如此引入。 阅读有关统计的文章时，可能会发现将统计公式转换为测度来表达。 这样，所有的推导和结论就不必分别写在连续分布和离散分布上一次，都可以用同样的测度形式来表达。 连续分布积分基于Lebesgue测度，离散分布求和基于计数测度，并推广到这种不连续也不离散的分布，则传统的黎曼积分不是work，而是Haar Measure和Lebesgue-Stieltjes积分等一些6、拓扑学是学术中的基础性学科。 它一般不直接提供方法，但其许多概念和定理是其他数学分支的基础。 当您查看许多其他数学时，请参阅Open set/Closed set、set basis、Hausdauf、continuous function、metric space、Cauchy sequence、neighborhooooce和如果，看了拓扑学之后，对这些概念的认识会从根本上扩大。 例如，连续函数是由epison方法定义的。 也就是说，无论取多么小的正数epsilon，都会存在xxx，成为xxx。 这需要用metric测量距离。 在通用拓扑中，连续函数的定义甚至不需要坐标和距离。 如果在一个映射中开集的原图像是开集的话，那就是连续的3354，开集是基于集合论定义的，不是一般的开集区间的意思。 这是最简单的例子。

当然，我们研究learning可能不需要深入研究这些数学概念背后的公理系统，但是打破原来定义的概念界限在很多问题上是必须的——，特别是当你研究的东西不在欧几里得空间中的时候7、Differential Manifold (微分流形)，通俗地说就是研究光滑曲面。 一个直接的形象是它能否用于定位一个surface等——。 当然这是应用，但这是非常初步的。 本质上，微分流形研究的是光滑拓扑。 一个空间构成微分流形的基本元素是局部光滑。 从拓扑学来理解，其任意的局部产生于欧几里得空间，从解析的观点来看是互换性的局部坐标系。 当然，在全球范围内，欧几里得空间和胚胎不要放在一起。 它不仅可用于绘制收藏上的光滑曲面，而且在更重要的意义上，可用于许多重要收藏的研究。 一个n维线性空间的所有k维子空间( k 8，Lie Group Theory )，一般意义的群论在Learning中很少使用，群论在Learning中使用较多的是其重要方向Lie group。 定义了平滑流形上的群，如果该群运算是平滑的，则称之为李群。 因为Learning与编码不同，多关注连续空间。 因为Lie group在各种各样的团体中对学习特别重要。 各子空间、线性变换、非奇异矩阵都基于通常意义的矩阵乘法构成李群。 李群上的映射、变换、度量、划分等对学习代数方法的研究具有重要的指导意义。 9、图表(图论)，由于其表达各种关系的强大能力和优雅的理论以及高效的算法，在学习领域备受欢迎。 图论在学习中最重要的应用之一是图形模型，它成功地分析了统计网络的结构，规划了统计推断的流程。 Graphical model取得的成功，在图论中有很大的功绩。 在Vision中，maxflow(graphcut )算法还广泛应用于图像分割、Stereo以及各种能量优化。 另一个重要的图论分支是Algebraic graph theory (代数图论)，主要用于图的谱分析，著名的应用包括归一化cut和Spectral Clustering。 近年来，在semi-supervised learning中特别引人注目。

这是大牛们经常做的综述啊。

据说是MIT一牛人关于数学在机器学习中的作用的评论！