1805年，在椭圆积分、数论和几何方面都有重大贡献的法国大数学家勒让德17521833发表了计算彗星轨道的新方法，其附录中描述了最小二乘法，勒让德是法国1819世纪数学界的三驾马车之一，早已是法国科学院院士但勒让德的书中没有涉及最小二乘法的误差分析，高斯1809年的著作中包括了这方面的内容，这对最小二乘法用于数理统计、乃至今天的机器学习有极为重要的意义，由于高斯的这一重大贡献，以及他声称自己1799年就已开始使用这个方法，因此很多人将最小二乘法的发明优先权归之为高斯当时这两位大数学家发生了著名的优先权之争，此后有许多数学史家专门进行研究，但至今也没弄清到底是谁最先发明了最小二乘法

不管是谁先发明的最小二乘法，这两位先生都是数学界的大佬。不过我们可能对高斯更熟悉一些，毕竟他在书中出现的挺多，我是指数学书。

…………

小故事决策树与罗斯昆兰

说起决策树学习，就必然要谈到澳大利亚计算机科学家罗斯昆兰ssuinlan，1943

最初的决策树算法是心理学家兼计算机科学家un1962年在研究人类的概念学习过程时提出的nepearningyse，这个算法确立了决策树“分而治之”的学习策略

罗斯昆兰在un的指导下于1968年在美国华盛顿大学获得计算机博士学位，然后到悉尼大学任教1978年他在学术假时到斯坦福大学访问，选修了图灵的助手ihie开设的一门研究生课程

课上有一个大作业，要求写程序来学习出完备正确的规则，以判断国际象棋残局中一方是否会在两步棋后被将死昆兰写了一个类似于的程序来完成作业，其中最重要的改进是引入了信息增益准则后来他把这个工作整理出来在1979年发表，这就是3算法

1986年ahineearning杂志创刊，昆兰应邀在创刊号上重新发表了3算法，掀起了决策树研究的热潮短短几年间众多决策树算法问世，4、5等名字迅速被其他研究者提出的算法占用，昆兰只好将自己的3后继算法命名为40，在此基础上进一步提出了著名的45有趣的是，昆兰自称45仅是对40做了些小改进，因此将它命名为“第45代分类器”，而将后续的商业化版本称为50

45在中的实现称为48。别问我什么意思，俺也不知道，但是大佬们是真滴牛批。

…………

小故事神经网络的几起几落

二十世纪四十年代神经元模型、ebb学习律出现后，五十年代出现了以感知机、aline为代表的一系列成果，这是神经网络发展的第一个高潮期

不幸的是，计算机科学研究的莫基人马文闵斯基arininsky，19272016与eyuraper在1969年出版了感知机一书，书中指出，单层神经网络无法解决非线性问题，而多层网络的训练算法尚看不到希望

这个论断直接使神经网络研究进入了“冰河期”，美国和苏联均停止了对神经网络研究的资助，全球该领域研究人员纷纷转行，仅剩极少数人坚持下来。哈佛大学的aulerbs在1974年发明算法时，正值神经网络冰河期，因此未受到应有的重视

1983年，加州理工学院的物理学家hnpfiel利用神经网络，在旅行商问题这个完全问题的求解上获得当时最好结果，引起了轰动稍后，的aiuelhar与aesllan领导的小组出版了并行分布处理认知微结构的探索一书，uelhar等人重新发明了算法，由于当时正处于piel带来的兴奋之中，算法迅速走红这掀起了神经网络的第二次高潮。

二十世纪九十年代中期，随着统计学习理论和支持向量机的兴起，神经网络学习的理论性质不够清楚、试错性强、在使用中充斥大量“窍门”rik的弱点更为明显，于是神经网络研究又进入低谷，会议甚至多年不接受以神经网络为主题的论文

2010年前后，随着计算能力的迅猛提升和大数据的涌现，神经网络研究在“深度学习”的名义下又重断崛起，先是在agee等若干竞赛上以大优势夺冠，此后谷歌、百度、脸书等公司纷纷投入巨资进行研发，神经网络迎来了第三次高潮。

有点势利？算了，今天就到这里

参考文献：

周志华机器学习北京：清华大学出版社