数据是载体，智能是目标，而机器学习则是从数据通往智能的技术途径。机器学习是数据科学的核心，是现代人工智能的本质。本书内容包括机器学习概述、决策树学习、多层感知器、维度约简、支持向量机、无监督学习、概率图模型、强化学习、深度学习。本书除介绍常用的机器学习方法外，还综述各主要方法的应用现状。通过各章案例的详细描述,读者可以系统地掌握机器学习方法。本书应用案例采用Python语言编写，并提供下载网址。
本书适合作为高等院校人工智能、数据科学与大数据、计算机科学与技术、软件工程等计算机类专业的本科生及研究生“机器学习”课程教材，也适合作为机器学习爱好者的参考读物。

机器学习方法分类
机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
1按照有无监督分类
有监督学习（Supervised Learning）：从给定的有标注的训练数据集中学习出一个函数（模型参数），当新的数据到来时可以根据这个函数预测结果。常见任务包括分类与回归。
无监督学习（Unsupervised Learning）：没有标注的训练数据集，需要根据样本间的统计规律对样本集进行分析，常见任务如聚类等。
半监督学习（Semisupervised Learning）：结合（少量的）标注训练数据和（大量的）未标注数据来进行数据的分类学习。
增强学习（Reinforcement Learning）：外部环境对输出只给出评价信息而非正确答案，学习机通过强化受奖励的动作来改善自身的性能。
多任务学习（Multitask Learning）：把多个相关（Related）的任务放在一起同时学习。
2按照解决问题分类
按照解决问题可分为：分类问题、回归问题、聚类问题和其他问题。

隐马尔可夫模型是一个关于时序的概率模型，描述由隐马尔可夫链随机生成观测序列的过程，属于生成模型。隐马尔可夫模型在语音识别、自然语言处理、生物信息等领域有着广泛的应用。
条件随机场是一个序列标注模型，其优点在于为一个位置进行标注的过程中可以利用丰富的内部及上下文特征信息。
LDA主题模型是一种文档主题生成模型，是一种非监督机器学习技术。通过模拟文档生成过程，可以用来识别大规模文档集或语料库中潜藏的主题信息。

机器学习面临的难题与挑战
（1）数据稀疏性：训练一个模型，需要大量（标注）数据，但是数据往往比较稀疏。例如：想训练一个模型表征某人“购物兴趣”，但是这个人在网站上浏览行为很少，购物历史很少，很难训练出一个“有意义模型”来预测应该给这个人推荐什么商品等。
（2）高数量和高质量标注数据需求：获取标定数据需要耗费大量人力和财力。而且，人会出错，有主观性。如何获取高数量和高质量标定数据，或者用机器学习方法只标注“关键”数据（主动学习）值得深入研究。
（3）冷启动问题：一个好互联网产品，用的人越多，得到的数据越多；得到的数据越多，模型训练得越好，产品会变得更好用，用的人就会更多……进入良性循环（涟漪效益）。对于一个新产品，在初期要面临数据不足的冷启动问题。
（4）泛化能力问题：训练数据不能全面、均衡地代表真实数据。
（5）模型抽象困难：总结归纳实际问题中的数学表示非常困难。
（6）模型评估困难：在很多实际问题中，很难形式化地、定量地评估一个模型的结果是好还是不好。
（7）寻找最优解困难：要解决的实际问题非常复杂，将其形式化后的目标函数也非常复杂，往往在目前还不存在一个有效的算法能找到目标函数的最优值。
（8）可扩展性是互联网的核心问题之一。搜索引擎索引的重要网页超过100亿：如果1台机器每秒处理1 000个网页，需要至少100天。所以出现了MapReduce、MPI、Spark、Pegasus、Pregel、Hama等分布式计算构架。选择什么样的计算平台，与算法设计紧密相关。
（9）速度是互联网核心的用户体验。线下模型训练可以花费很长时间，如Google某个模型更新一次需要几千台机器，大约训练半年时间。但是，线上使用模型时要求一定要“快，并且实时”。
（10）在线学习：互联网每时每刻都在产生大量新数据，要求模型随之不停更新，所以在线学习是机器学习的一个重要研究方向。

机器学习发展的启示
“机器学习”在其十年的黄金发展期，机器学习界并没有过多地炒作“智能”或者“认知”，而是关注于引入统计学等来建立学科的理论基础，面向数据分析与处理，以无监督学习和有监督学习为两大主要的研究问题，提出和开发了一系列模型、方法和计算算法等，切实地解决了工业界所面临的一些实际问题。因为大数据的驱动和计算能力的极大提升，一批面向机器学习的底层架构先后被开发出来。神经网络其实在20世纪80年代末或90年代初就被广泛研究，但后来沉寂了。而基于深度学习的神经网络强势崛起，给工业界带来了深刻的变革和机遇。深度学习的成功不是源自脑科学或认知科学的进展，而是因为大数据的驱动和计算能力的极大提升。
机器学习的发展诠释了多学科交叉的重要性和必要性。然而这种交叉不是简单地彼此知道几个名词或概念就可以的，是需要真正融会贯通。统计学家弗莱德曼早期从事物理学研究，他是优化算法大师，而且他的编程能力同样令人赞叹。乔丹教授既是一流的计算机学家，又是一流的统计学家，而他的博士专业为心理学，他能够承担起建立统计机器学习的重任。辛顿教授是世界最著名的认知心理学家和计算机科学家。虽然他很早就成就斐然，在学术界久负盛名，但他依然始终活跃在一线，自己写代码。他提出的许多想法简单、可行又非常有效，被称为伟大的思想家。正是由于他的睿智和身体力行，深度学习技术迎来了革命性的突破。这些学者非常务实，从不提那些空洞无物的概念和框架。他们遵循自下而上的方式，从具体问题、模型、方法、算法等着手，一步一步实现系统化。
可以说机器学习是由学术界、工业界、创业界（或竞赛界）等合力造就的。学术界是引擎，工业界是驱动，创业界是活力和未来。学术界和工业界应该有各自的职责和分工。学术界的职责在于建立和发展机器学习学科，培养机器学习领域的专门人才；而大项目、大工程更应该由市场来驱动，由工业界来实施和完成。
本书内容包括机器学习概述、决策树学习、多层感知器、维度约简、支持向量机、无监督学习、概率图模型、强化学习、深度学习。除包括基本概念、基本知识外，每章均包括相关技术的应用概述及典型应用案例。
本书适合作为高等院校人工智能、数据科学与大数据、计算机科学与技术、软件工程等计算机类专业的本科生及研究生“机器学习”课程的教材，也可作为机器学习各类培训用书和爱好者的参考书。 
贲可荣、魏娜撰写第1、2、3、5、9章及第66节，张献参与第9章的撰写。其余章节（含第25节）由袁景凌老师撰写，董建升、丁远远、曹阳、肖嵩参加了部分案例编写。贲可荣组织了本书编写，并撰写前言。南京大学徐洁磐教授审阅了全书，并提出宝贵意见，特此致谢。最后感谢参考文献的所有作者。
由于时间仓促及编者水平所限，必定存在许多不足，恳请读者批评指正，将不胜感谢。
编者2019年11月

第1章
机器学习概述1
11学习中的元素2

12目标函数的表示4

13机器学习系统的基本结构6

14学习任务的类型7

15机器学习的定义和发展史9

16机器学习可完成的事11

17机器学习的成功案例13

习题16

第2章
决策树学习17
21决策树的组成及分类17

22决策树的构造算法CLS18

23基本的决策树算法ID320

24信息熵和信息增益及其案例21

25随机森林及其应用案例24

251随机森林概述24

252随机森林应用案例27

26决策树和随机森林应用概述29

261决策树的应用概述29

262随机森林的应用概述30

小结32

习题32

第3章
多层感知器34
31神经元模型34

32感知器及其学习规则35

33多层感知器38

34反向传播算法39



目录
35反向传播网络的应用概述45

36案例：基于反向传播网络拟合曲线46

小结52

习题53

第4章
维度约简55
41主成分分析55

42独立成分分析58

43线性判别分析59

44局部线性嵌入62

45维度约简算法应用概述65

46案例分析66

461利用PCA对半导体制造数据降维66

462LDA降维——应用于Wine葡萄酒数据集67

小结69

习题69

第5章
支持向量机71
51线性可分模式的最优超平面71

52不可分离模式的最优超平面75

53用于模式识别的支持向量机的潜在思想78

54使用核方法的支持向量机78

55支持向量机的设计80

56支持向量机的应用概述81

57支持向量机的示例83

小结86

习题87

第6章
无监督学习89
61聚类概述89

62Kmeans算法90

63DBSCAN算法92

64EM算法94

65关联分析97

66竞争网络99

661Hamming网络100

662竞争学习及案例101

663自组织特征图104

664学习向量量化107

67无监督学习应用概述109

68案例分析111

681使用K-means算法对用户购物行为聚类和推荐111

682使用DBSCAN清洗GPS轨迹数据111

683高斯混合模型的EM聚类113

684学习向量量化解决分类问题114

小结116

习题116

第7章
概率图模型118
71贝叶斯网络118

711贝叶斯基本公式119

712朴素贝叶斯分类器120

713贝叶斯网络的拓扑结构121

714条件独立性假设121

715先验概率的确定和网络推理算法122

72马尔可夫随机场124

721马尔可夫随机场概念125

722马尔可夫随机场的因式分解126

73隐马尔可夫模型128

74马尔可夫链蒙特卡罗131

741蒙特卡罗积分131

742马尔可夫链132

743马尔可夫链蒙特卡罗132

75LDA主题提取模型136

76概率图模型应用概述138

77案例分析141

771朴素贝叶斯进行垃圾邮件过滤141

772前向后向算法求观测序列概率142

773马尔可夫链蒙特卡罗方法预测睡眠质量144

774利用LDA对文本进行主题提取148

小结149

习题150

第8章
强化学习151
81强化学习过程151

82马尔可夫决策过程152

83Q-Learning156

84强化学习应用概述159

85案例分析161

851使用马尔可夫决策过程求解最优策略162

852寻宝游戏163

小结164

习题165

第9章
深度学习166
91深度学习概述166

92卷积神经网络169

921卷积层169

922池化层171

923卷积神经网络结构172

93循环神经网络172

931给网络增加记忆能力173

932简单循环网络174

933应用到机器学习175

934参数学习177

935基于门控的循环神经网络179

94深度信念网络181

941玻尔兹曼机181

942受限玻尔兹曼机182

943深度信念网络183

95深度生成模型185

951概率生成模型185

952变分自编码器186

953生成对抗网络188

954生成对抗网络的应用190

96深度学习应用概述193

961文本194

962语音195

963计算机视觉196

97机器学习系统199

971主流机器学习系统的分类与介绍200

972主流深度学习框架系统介绍201

973新兴机器学习系统203

98案例：深度学习在计算机视觉中的应用204

小结210

习题210

附录
机器学习工具及资源推荐212

参考文献
217

袁景凌：教授、博士/博导，现担任武汉理工大学计算机科学与技术学院副院长、中国计算机学会高级会员，CCF教育专委会委员并任湖北省计算机学会理事，武汉软件工程学会会员等。主要研究方向包括机器学习、绿色计算、智能方法应用等。 

贲可荣： 海军工程大学电子工程学院教授、博导，在软件工程和人工智能等方向，先后主持和参加了国家自然科学基金、军队科研等20余个项目。中国计算机学会理论计算机科学专委副主任、软件工程专委委员。评为教育部骨干教师、首届湖北省优秀研究生导师，第三届大学教学名师，获军队院校育才奖金奖。研究方向：人工智能、软件工程。出版教材、译著15部，主编的《人工智能（第二版）》获评普通高等教育“十二五”国家级规划教材。 

魏娜：博士，讲师，海军工程大学电子工程学院，人工智能、模式识别，主讲课程《人工智能导论》。 

本书介绍常用机器学习方法，综述各主要方法的应用现状，通过各章的案例详细描述,让读者系统掌握机器学习方法。本书应用案例采用Python语言编写，并提供下载网址。