为什么要深化数学的世界 作为计算机的学生,我没有任何企图要成为一个数学家。我学习数学的目的,是要想爬上伟人的肩膀,希望站在更高的高度,能把我自己研讨的东西看得更深广一些。说起来,我在刚来这个学校的时分,并没有预料到我将会有一个深化数学的旅程。 我的导师最初希望我去做的题目,是对 appearance 和 motion 树立一个 unified 的 model。这个题目在当今 Computer Vision 中百花齐放的世界中并没有任何特别的中央。事实上,运用各种 Graphical Model 把各种东西分离在一同 framework,在近年的论文中并不少见。 我不承认往常普遍盛行的 Graphical Model 是对复杂现象建模的有力工具,但是,我以为它不是 panacea,并不能取代关于所研讨的问题的深化的研讨。假如统计学习包治百病,那么很多 “下游”的学科也就没有存在的必要了。 事实上,开端的时分,我也是和 Vision 中很多人一样,想着去做一个 Graphical Model —— 我的导师指出,这样的做法只是重复一些规范的流程,并没有很大的价值。 经过很长时间的重复,另外一个途径慢慢被确立下来——我们置信,一个图像是经过大量“原子”的某种空间散布构成的,原子群的运动构成了动态的可视过程。微观意义下的单个原子运动,和宏观意义下的整体散布的变换存在着深化的 联络——这需求我们去挖掘。 在深化探求这个题目的过程中,遇到了很多很多的问题,如何描画一个普通的运动过程,如何树立一个稳定并且普遍适用的原子表白,如何描写微观运动和宏观散布变换的联络,还有很多。在这个过程中,我发现了两个事情:
于是,我决计开端深化数学这个浩瀚大海,希望在我再次走出来的时分,我曾经有了更强大的武器去面对这些问题的应战。 我的游历并没有终了,我的视野相比于这个博大精深的世界的依旧显得十分狭窄。在这里,我只是说说,在我的眼中,数学如何一步步从初级向高级延展,更高级别的数学关于细致应用究竟有何益处。 汇合论:现代数学的共同基础 现代数学有数不清的分支,但是,它们都有一个共同的基础——汇合论——由于 它,数学这个庞大的家族有个共同的言语。 汇合论中有一些最基本的概念:汇合(set),关系(relation),函数(function),等价 (equivalence),是在其它数学分支的言语中简直必定存在的。 关于这些简单概念的了解,是进一步学些别的数学的基础。我置信,理工科大学生关于这些都不会陌生。 不外,有一个很重要的东西就不见得那么众所周知了——那就是“选择公理” (Axiom of Choice)。这个公理的意义是“恣意的一群非终汇合,一定能够从每个汇合中各拿出一个元素。”——似乎是显然得不能再显然的命题。 不外,这个貌似平常的公理却能演绎出一些比较奇特的结论,好比巴拿赫-塔斯基分球定理——“一个球,能分红五个部分,对它们进行一系列刚性变换(平移旋转)后,能组合成两个一样大小的球”。 正由于这些完整有悖常识的结论,招致数学界曾经在相当长时间里关于能否接受它有着猛烈争论。往常,主流数学家关于它应该是基本接受的,由于很多数学分支的重要定理都依赖于它。在我们后面要回说到的学科里面,下面的定理依赖于选择公理:
在汇合论的基础上,现代数学有两大家族:剖析(Analysis)和代数(Algebra)。至于其它的,好比几何和概率论,在古典数学时期,它们是和代数并列的,但是它们的现代版本则基本是树立在剖析或者代数的基础上,因而从现代意义说,它们和剖析与代数并不是平行的关系。 剖析:在极限基础上树立的雄巨大厦 1. 微积分:剖析的古典时期——从牛顿到柯西 先说说剖析(Analysis)吧,它是从微积分(Caculus)延展起来 的——这也是有些微积分教材名字叫“数学剖析”的缘由。不外,剖析的范畴远不只是这些,我们在大学一年级学习的微积分只能算是对古典剖析的入门。 剖析研讨 的对象很多,包含导数(derivatives),积分(integral),微分方程(differential equation),还有级数(infinite series)——这些基本的概念,在初等的微积分里面都有引见。假如说有一个思想贯串其中,那就是极限——这是整个剖析(不只仅是微积分)的灵魂。 一个很多人都听说过的故事,就是牛顿(Newton)和莱布尼茨 (Leibniz)关于微积分发明权的争论。事实上,在他们的时期,很多微积分的工具开端运用在科学和工程之中,但是,微积分的基础并没有真正树立。 那个 长时间不时解释不分明的“无量小量”的幽魂,搅扰了数学界一百多年的时间——这就是“第二次数学危机”。直到柯西用数列极限的观念重新树立了微积分的基本 概念,这门学科才开端有了一个比较坚实的基础。直到今天,整个剖析的大厦还是树立在极限的基石之上。 柯西(Cauchy)为剖析的延展提供了一种紧密的言语,但是他并没有处置微积分的全部问题。在19世纪的时分,剖析的世界依旧有着一些挥之不去的乌云。而其中最重要的一个没有处置的是“函数能否可积的问题”。 我们在往常的微积分课本中学到的那种经过“无限分割区间,取矩阵面积和的极限”的积分,是大约在1850年由黎曼(Riemann)提出的,叫做黎曼积分。 但是,什么函数存在黎曼积分呢(黎曼可积)?数学家们很早就证明了,定义在闭区间内的连续函数是黎曼可积的。可是,这样的结果并不令人称心,工程师们需求对分段连续函数的函数积分。 2. 实剖析:在实数理论和测度理论上树立起现代剖析 在19世纪中后期,不连续函数的可积性问题不时是剖析的重要课题。关于定义在闭区间上的黎曼积分的研讨发现,可积性的关键在于“不连续的点足够少”。只需有限处不连续的函数是可积的,可是很多有数学家们结构出很多在无限处不连续的可积函数。 显然,在权衡点集大小的时分,有限和无限并不是一种适合的规范。在讨论“点集大小”这个问题的过程中,数学家发理想数轴——这个他们曾经以为已 经充沛了解的东西——有着许多他们没有想到的特性。 在极限思想的支持下,实数理论在这个时分被树立起来,它的标记是对实数完备性进行描写的几条等价的定理(确界定理,区间套定理,柯西收敛定理,Bolzano-Weierstrass Theorem 和 Heine-Borel Theorem 等等)——这些定理明白表白出实数和有理数的基本区别:完备性(很不严厉的说,就是对极限运算封锁)。 随着对实数认识的深化,如何丈量“点集大小”的问题也取得了突破,勒贝格发明性地把关于汇合的代数,和 Outer content(就是“外测度”的一个雏形)的概念分离起来,树立了测度理论(Measure Theory),并且进一步树立了以测度为基础的积分——勒贝格(Lebesgue Integral)。在这个新的积分概念的支持下,可积性问题变得了如指掌。 上面说到的实数理论,测度理论和勒贝格积分,构成了我们往常称为实剖析 (Real Analysis)的数学分支,有些书也叫实变函数论。关于应用科学来说,实剖析似乎没有古典微积分那么“适用”——很难直接基于它得到什么算法。 而且,它要处置的某些“难题”——好比处处不连续的函数,或者处处连续而处处不可微的函数——在工程师的眼中,并不理想。 但是,我以为,它并不是一种纯数学概念游戏,它的理想意义在于为许多现代的应用数学分支提供坚实的基础。下面,我仅仅罗列几条它的用处:
在下面,我们还会看到,测度理论是现代概率论的基础。 3. 拓扑学:剖析从实数轴推行到普通空间——现代剖析的笼统基础 随着实数理论的树立,大家开端把极限和连续推行到更普通的中央的剖析。事实 上,很多基于实数的概念和定理并不是实数特有的。很多特性能够笼统出来,推行到更普通的空间里面。 关于实数轴的推行,促成了点集拓扑学 (Point- set Topology) 的树立。很多原来只存在于实数中的概念,被提取出来,进行普通性的讨论。在拓扑学里面,有4个C构成了它的中心:
从某种意义上说,点集拓扑学能够看成是关于“极限”的普通理论,它笼统于实数理论,它的概念成为简直一切现代剖析学科的通用言语,也是整个现代剖析的根基所在。 4. 微分几何:流形上的剖析——在拓扑空间上引入微分结构 拓扑学把极限的概念推行到普通的拓扑空间,但这不是故事的终了,而仅仅是开 始。在微积分里面,极限之后我们有微分,求导,积分。这些东西也能够推行到拓扑空间,在拓扑学的基础上树立起来——这就是微分几何。 从教学上说,微分几何的教材,有两种不同的类型,一种是树立在古典微机分的基础上的“古典微分几何”,主要是关于二维和三维空间中的一些几何量的计算,好比曲率。 还有一种是树立在现代拓扑学的基础上,这里权且称为“现代微分几何”——它的中心概念就是“流形”(manifold)——就是在拓扑空间的基础上加了一套能够进行微分运算的结构。现代微分几何是一门十分丰厚的学科。 好比普通流形上的微分的定义就比传统的微分丰厚,我自己就见过三种从不同角度给出的等价定义——这一方面让事情变得复杂一些,但是另外一个方面它给了同一个概念的不同了解,常常在处置问题时会引出不同的思绪。 除了推行微积分的概念以外,还引入了很多新概念:tangent space, cotangent space, push forward, pull back, fibre bundle, flow, immersion, submersion 等等。 近些年,流形在机器学习中似乎相当时兴。但是,坦率地说,要弄懂一些基本的流形算法, 以至“发明”一些流形算法,并不需求多少微分几何的基础。 对我的研讨来说,微分几何最重要的应用就是树立在它之上的另外一个分支:李群和李代数——这是数学中两大家族剖析和代数的一个漂亮的联姻。 剖析和代数的另外一处重要的分离则是泛函剖析,以及在其基础上的调和剖析。 代数:一个笼统的世界 回过头来,再说说另一个大家族——代数。 假如说古典微积分是剖析的入门,那么现代代数的入门点则是两个部分:线性代数(linear algebra)和基础的笼统代数(abstract algebra)——听说国内一些教材称之为近世代数。 代数——称号上研讨的似乎是数,在我看来,主要研讨的是运算规则。一门代数,其实都是从某种细致的运算体系中笼统出一些基本规则,树立一个公理体系,然后在这基础上进行研讨。一个汇合再加上一套运算规则,就构成一个代数结构。 在主要的代数结构中,最简单的是群(Group)——它只需一种契合分离率的可逆运算,通常叫“乘法”。假如,这种运算也契合交流率,那么就叫阿贝尔群 (Abelian Group)。 假如有两种运算,一种叫加法,满足交流率和分离率,一种叫乘法,满足分离率,它们之间满足分配率,这种丰厚一点的结构叫做环(Ring),假如环上的乘法满足交流率,就叫可交流环(Commutative Ring)。 假如,一个环的加法和乘法具有了一切的良好性质,那么就成为一个域(Field)。基于域,我们能够树立一种新的结构,能进行加法和数乘,就构成了线性代数(Linear algebra)。 代数的益处在于,它只关怀运算规则的演绎,而不论参与运算的对象。只需定义恰当,完整能够让一只猫乘一只狗得到一头猪。基于笼统运算规则得到的一切定理完整能够运用于上面说的猫狗乘法。当然,在实践运用中,我们还是希望用它干点有意义的事情。 1. 关于笼统代数 学过笼统代数的都知道,基于几条最简单的规则,好比分离律,就能导出十分多的重要结论——这些结论能够应用到一切满足这些简单规则的中央——这是代数的能力所在,我们不再需求为每一个细致范畴重新树立这么多的定理。 笼统代数有在一些基础定理的基础上,进一步的研讨常常分为两个流派: 研讨有限的离散代数结构(好比有限群和有限域),这部分内容通常用于数论,编码,和整数方程这些中央; 另外一个流派是研讨连续的代数结构,通常和拓扑与剖析联络在一同(好比拓扑群,李群)。我在学习中的 focus 主要是后者。 2. 线性代数:“线性”的基础位置 关于做 Learning, vision, optimization 或者 statistics 的人来说,接触最多的莫过于线性代数——这也是我们在大学低年级就开端学习的。线性代数,包含树立在它基础上的各种学科,最中心的两个概念是向量空间和线性变换。 线性变换在线性代数中的位置,和连续函数在剖析中的位置,或者同态映射在群论中的位置是一样的——它是坚持基础运算(加法和数乘)的映射。 在learning中有这样的一种倾向——轻视野性算法,标榜非线性。或许在很多场所下面,我们需求非线性来描画复杂的理想世界,但是无论什么时分,线性都是具有基本位置的。 没有线性的基础,就不可能存在所谓的非线性推行。我们常用的非线性化的措施包含流形和 kernelization,这两者都需求在某个阶段回归线性。流形需求在每个部分树立和线性空间的映射,经过把许多部分线性空间衔接起来构成非线性。 而 kernerlization 则是经过置换内积结构把原线性空间“非线性”地映射到另外一个线性空间,再进行线性空间中所能进行的操作。 而在剖析范畴,线性的运算更是无处不在,微分,积分,傅立叶变换,拉普拉斯变换,还有统计中的均值,通通都是线性的。 3. 泛函剖析:从有限维向无限维迈进 在大学中学习的线性代数,它的简单主要由于它是在有限维空间进行的,由于有 限,我们无须借助于太多的剖析手段。但是,有限维空间并不能有效地表白我们的世界——最重要的,函数构成了线性空间,可是它是无限维的。 对函数进行的最重要的运算都在无限维空间进行,好比傅立叶变换和小波剖析。这表明了,为了研讨函数(或者说连续信号),我们需求突破有限维空间的约束,走入无限维的函数空间——这里面的第一步,就是泛函剖析。 泛函剖析(Functional Analysis)是研讨的是普通的线性空间,包含有限维和无限维,但是很多东西在有限维下显得很微缺乏道,真正的艰难常常在无限维的时分呈现。在泛函剖析中,空间中的元素还是叫向量,但是线性变换通常会叫作“算子”(operator)。 除了加法和数乘,这里进一步参与了一些运算,好比参与范数去表白“向量的长度”或者“元素的距离”,这样的空间叫做“赋范线性空间”(normed space),再进一步的,能够参与内积运算,这样的空间叫“内积空间”(Inner product space)。 大家发现,当进入无限维的时间时,很多老的观念不再适用了,一切都需求重新审视。
基本的泛函剖析继续往前走,有两个重要的方向。 第一个是巴拿赫代数 (Banach Algebra),它就是在巴拿赫空间(完备的内积空间)的基础上引入乘法(这不同于数乘)。 好比矩阵——它除了加法和数乘,还能做乘法——这就构成了一个巴拿赫代数。除此以外,值域完备的有界算子,平方可积函数,都能构成巴拿赫代数。 巴拿赫代数是泛函剖析的笼统,很多关于有界算子导出的结论,还有算子谱论中的许多定理,它们不只仅对算子适用,它们其实能够从普通的巴拿赫代数中得到,并且应用在算子以外的中央。 巴拿赫代数让你站在更高的高度看待泛函剖析中的结论,但是,我对它在实践问题中能比泛函剖析能多带来什么东西还有待思索。 最能把泛函剖析和实践问题在一同的另一个重要方向是调和剖析 (Harmonic Analysis)。 我在这里罗列它的两个个子范畴,傅立叶剖析和小波剖析,我想这曾经能阐明它的实践价值。它研讨的最中心的问题就是怎样用基函数去迫近和结构一个函数。它研讨的是函数空间的问题,不可避免的必须以泛函剖析为基础。 除了傅立叶和小波,调和剖析还研讨一些很有用的函数空间,好比Hardy space,Sobolev space,这些空间有很多很好的性质,在工程中和物理学中都有很重要的应用。关于vision来说,调和剖析在信号的表白,图像的结构,都是十分有用的工具。 当剖析和线性代数走在一同,产生了泛函剖析和调和剖析;当剖析和群论走在一 起,我们就有了李群(Lie Group)和李代数(Lie Algebra)。它们给连续群上的元素赋予了代数结构。我不时以为这是一门十分漂亮的数学:在一个体系中,拓扑,微分和代数走到了一同。 在一定条件下,经过李群和李代数的联络,它让几何变换的分离变成了线性运算,让子群化为线性子空间,这样就为 Learning 中许多重要的模型和算法的引入到对几何运动的建模发明了必要的条件。 因而,我们置信李群和李代数关于vision有着重要意义,只不外学习它的道路可能会很艰苦,在它之前需求学习很多别的数学。 现代概率论:在现代剖析基础上再生 最后,再简单说说很多 Learning 的研讨者特别关怀的数学分支:概率论。自从 Kolmogorov 在上世纪30年代把测度引入概率论以来,测度理论就成为现代概率论的基础。在这里,概率定义为测度,随机变量定义为可测函数,条件随机变量定义为可测函数在某个函数空间的投影,均值则是可测函数关于概率测度的积分。 值得留意的是,很多的现代观念,开端以泛函剖析的思绪看待概率论的基础概念,随机变量构成了一个向量空间,而带符号概率测度则构成了它的对偶空间,其中一方施加于对方就构成均值。角度固然不一样,不外这两种方式殊途同 归,构成的基础是等价的。 在现代概率论的基础上,许多传统的分支得到了极大丰厚,最有代表性的包含鞅论 (Martingale)——由研讨赌博引发的理论,往常主要用于金融(这里能够看出赌博和金融的理论联络),布朗运动(Brownian Motion)——连续随机过程的基础,以及在此基础上树立的随机剖析(Stochastic Calculus),包含随机积分(对随机过程的途径进行积分,其中比较有代表性的叫伊藤积分(Ito Integral)),和随机微分方程。关于连续几何运用树立概率模型以及对散布的变换的研讨离不开这些方面的学问。 01 《普林斯顿微积分读本(修订版)》 《普林斯顿数学剖析读本》 《普林斯顿概率论读本》 作者:[美] 史蒂文·J. 米勒、拉菲·格林贝格、史蒂文·J. 米勒 译者:李馨 定价:69元起 盛行美国普林斯顿大学的数学课程读本,教你怎样在数学考试中取得高分,用大量例子和代码全面讨论数学问题提供课程视频和讲义。被誉为“普林斯顿读本”三剑客。 02 《泛函剖析导论及应用》 作者:[加]欧文克雷斯齐格 译者:蒋正新 吕善伟 张式淇 定价:169.8 泛函剖析学习的优秀入门书,被欧美众多大学普遍用作数学系、物理系本科生和研讨生的教材,深化浅出、明晰易懂,富有学问性和兴味性,可用于自学。 简约、门槛低、有答案、可自学,引荐给宽广工科学生。 03 《哈代数论(第6版)》 作者:[英] 戈弗雷·哈代 [英] 爱德华·赖特 译者:张明尧 张凡 定价:169.8 数论范畴的一部传世名著,也是现代数学巨匠哈代的代表作之一 出版以来不时备受数学界推崇,被牛津大学、麻省理工学院、加州大学伯克利分校等知名大学指定为教材或参考书,也是斯坦福大学每个数学与计算机专业学生应读的一本书。 04 《数学剖析概论(岩波定本)》 作者:[日]高木贞治 译者:冯速 高颖 定价:149.8 日本数学的不朽名著,哺养小平邦彦、伊藤清等一代数学家的“数学圣经” 日本数学家、“日本现代数学之父”高木贞治创作的剖析学入门名著。 衔接古典与现代的集大成之作,它被誉为日本现代数学延展的“不动之根基”,也成为日本一切微积分教材、专著的参考原点。 05 《伊藤清概率论(修订版)》 作者:[日]伊藤清 译者:闫理坦 定价:59 沃尔夫奖、高斯奖得主,现代随机剖析之父日本数学大家伊藤清现代概率论的名著。 书中以最小限度的准备学问为前提,以精练的笔法系统解说了测度论基础,以及现代概率论的基础体系与概念,为引导读者了解“随机过程”,特别是Markov过程做了细致准备。 06 《复剖析:可视化措施》 作者:[美]特里斯坦·尼达姆 译者:齐民友 定价:159 本书用一种真正不同寻常的、独具发明性的视角和能够看得见的论证方式解释初等复剖析的理论,公开应战当前占统治位置的纯符号逻辑推理。 本书是在复剖析范畴产生了普遍影响的一本著作。作者独辟蹊径,用丰厚的图例展示各种概念、定理和证明思绪,十分便于读者了解,充沛提示了复剖析的数学美。 07 《线性代数应该这样学(第3版)》 作者:【美】阿克斯勒 译者:杜现昆 刘大艳 马晶 定价:69.8 公认的论述线性代数的经典佳作,被斯坦福大学等全球40多个国度、300余所高校采用为教材。 丢弃晦涩难懂的行列式,从向量空间和线性映射动身描画线性算子。 包含561道习题和大量示例,进步学生了解和熟练运用线性代数学问的才干并阐明线性代数的主要思想。 08 《概率论及其应用(卷1·第3版)》 作者:[美]威廉·费勒(William Feller) 译者:胡迪鹤 定价:109.8 本书是经典概率论教材,原版已重印50多次,至今畅销不衰。内容涵盖从入门到高级的各个层面,并配有丰厚的例子和大量习题,触及物理学、生物学、化学、遗传学、博弈论、经济学等多方面的应用,极具启示性。 09 《基础拓扑学(修订版)》 作者:[英]马克·阿姆斯特朗 译者:孙以丰 定价:49 拓扑学主要研讨拓扑空间在拓扑变换下的不变性质和不变量。在数学上,关于柯尼斯堡七桥问题、多面体的欧拉定理、四色问题等都是拓扑学延展史的重要问题。拓扑学在泛函剖析、李群论、微分几何、微分方程等其他许多数学分支中都有普遍的应用。 本书内容浅易,是一部拓扑学入门书籍。具有实剖析、初等群论、线性代数基础的人都能够看懂本书。美国很多高校的拓扑学指定教材,如加州大学伯克利分校。 10 《陶哲轩实剖析(第3版)》 作者:[澳]陶哲轩(Terence Tao) 译者:李馨 定价:99 本书源自华裔天才数学家、菲尔兹奖得主陶哲轩在加州大学洛杉矶分校教授实剖析课程的讲义。 全书从剖析的源头——数系的结构和汇合论开端,然后引向剖析基础,再进入幂级数、多元微分学和傅里叶剖析,最后引见勒贝格积分,简直完整是以细致的实直线和欧几里无暇间为背景,圆满分离了严厉性和直观性。 |