本书结合职业教育各专业学生发展需要，针对应用型“机器学习”专业课程而编写，具有丰富的知识性与应用特色，意在帮助学生理解机器学习的原理，了解机器学习的算法思想，熟悉机器学习的应用场景，掌握机器学习的运用方法。
本书知识内容系统、全面，包括机器学习基础、线性模型、决策树、神经网络、贝叶斯分类器、集成学习、支持向量机、聚类分析、降维与特征选择、半监督学习、概率图模型、推荐系统、深度学习、强化学习和机器学习的发展等内容。本书每课都设计有导读案例、作业及以典型案例分析为主的实训任务。
与本书配套的教学PPT课件等资源可从中国铁道出版社教育资源数字化平台（https://www.tdpress.com/51eds/）下载，欢迎教师与编者交流并索取为本书教学配套的相关资料。
本书适合作为职业教育人工智能技术应用专业教材，也可作为对人工智能相关领域感兴趣读者的参考书。

前 言
随着人工智能技术与应用的日渐普及，人工智能相关知识成为人们热衷的普适性科学常识。社会需要机器学习专业的学者，也需要日益庞大的爱好机器学习知识与技术的专业工作者。
机器学习（machine learning, ML）是人工智能科学的一个重要分支，它是“让计算机像人类一样学习和行动的科学”。
本书是面向职业教育和普通读者的机器学习课程类的通识教材，为了使更多的读者能够通过本书对机器学习技术有所了解，内容力图包含生动丰富的机器学习以及人工智能、大数据知识，意在帮助读者理解机器学习的原理知识，了解机器学习的算法思想，熟悉机器学习的应用场景，掌握机器学习的运用方法。本书知识内容系统、全面，包括机器学习基础、线性模型、决策树、神经网络、贝叶斯分类器、集成学习、支持向量机、聚类分析、降维与特征选择、半监督学习、概率图模型、推荐系统、深度学习、强化学习和机器学习的发展等内容。本书每课都设计有导读案例、作业以及以典型案例分析为主的实训任务，阅读和教学时可依照学习进度与需求，做适当选择。
每课在编写时都遵循下列要点：
（1）提倡学生课前阅读“导读案例”，在拓展相关知识面的同时，预习课文。课文深入浅出，能引发学习者的自我学习兴趣。
（2）课文介绍基本观念或解释原理，让学习者能切实理解和掌握机器学习的基本知识。
（3）组织浅显易懂的案例，注重培养扎实的基本理论知识，重视培养学习方法。
（4）为学习者提供低认知负荷的作业，让学习者在自我成就中建构机器学习的基本观念与技术；为各课设计的作业（20道四选一标准选择题）并不难，学生只要认真阅读课文，所有题目都能准确回答。在书的附录中安排了作业参考答案。
（5）思维与实践并进。建议老师在教学班中组织“实训：案例分析”研究性学习活动，鼓励学生讨论与安排机会表达，努力让机器学习的知识成为驰骋职场的立身之本。
本课程的“教学进度表”可作为教师授课参考和学生课程学习的概要。实际执行时，应按照教学大纲编排教学进度和校历中关于本学期节假日的安排，实际确定本课程的教学进度。
本书由姚云、周苏主编，戴黄峰、汤儒勤、张天林、浦建峰、赵慧曜、徐灵鑫、王文等参与了本书的部分编写工作。
本书的编写得到嘉兴技师学院、浙大城市学院、华航唯实机器人科技有限公司、杭州汇萃智能科技有限公司等多家单位的支持。
与本书配套的教学PPT课件等文档可从中国铁道出版社教育资源数字化平台 （https://www.tdpress.com/51eds）下载，欢迎教师与作者交流并索取为本书教学配套的相关资料：zhousu@qq.com，QQ：81505050。

编者
2024年5月于杭州

目 录
第1课概??述1

【导读案例】机器学习名字的由来1
1.1什么是机器学习2
1.1.1机器学习的发展2
1.1.2机器学习的定义4
1.1.3机器学习的研究5
1.2机器学习的分类6
1.2.1监督学习6
1.2.2无监督学习7
1.2.3强化学习7
1.2.4其他类别7
1.3机器学习基本结构8
1.4机器学习算法9
1.5机器学习的应用13
1.5.1回归、分类和特征设计14
1.5.2数据分析与挖掘15
1.5.3模式识别16
1.5.4生物信息学16
1.5.5AI聊天机器人17
1.5.6自动驾驶17
【作业】18
【实训】机器学习能做什么19
第2课机器学习基础26
【导读案例】CPU和GPU的区别26
2.1机器学习的学习基础28
2.1.1Python程序设计语言28
2.1.2线性代数知识29
2.1.3微积分知识30
2.1.4算法及其评价30
2.2基本术语32
2.3假设空间33
2.4归纳偏好35
2.5经验误差与拟合36
2.6评估与度量37
2.6.1调参与最终模型37
2.6.2性能度量38
2.6.3比较检验38
2.7偏差与方差38
【作业】39
【实训】Python机器学习代码：
鸢尾花分类41
第3课线性模型45

【导读案例】高斯与最小二乘法45
3.1回归分析46
3.1.1回归分析的场景46
3.1.2不同的回归分析方法47
3.1.3回归分析的步骤48
3.2线性回归48
3.2.1线性模型的基本形式48
3.2.2一元线性回归49
3.2.3多元线性回归50
3.2.4狭义和广义的线性模型51
3.3线性模型解决非线性问题51
3.4建模方法论52
3.4.1随机分布和指数分布族52
3.4.2链接函数52
3.4.3机器学习中的方差52
3.4.4类别不平衡问题53
3.5多分类学习53
【作业】54
【实训】Excel线性回归模型分析56
第4课决策树59

【导读案例】谷歌发布机器人视觉语言
动作模型 RT-259
4.1什么是决策树60
4.1.1决策树的定义60
4.1.2决策树结构61
4.1.3决策树学习62
4.2决策树学习的步骤63
4.2.1特征选择63
4.2.2决策树生成65
4.3决策树剪枝65
4.3.1预剪枝66
4.3.2后剪枝66
4.4决策树算法66
4.4.1信息增益、增益率与基尼系数67
4.4.2ID3、C4.5和CART算法67
4.5随机森林68
4.5.1学习算法68
4.5.2随机森林构建68
【作业】69
【实训】某饭店的单级和多级
决策树分析71
第5课神经网络75

【导读案例】神经网络的几起几落75
5.1动物的中枢神经系统76
5.1.1神经系统的结构76
5.1.2神经系统学习机制77
5.2了解人工神经网络78
5.2.1人工神经网络的定义78
5.2.2人工神经网络的研究79
5.2.3人工神经网络的架构80
5.3类脑计算机80
5.4主要神经网络结构图解80
5.4.1标准网络81
5.4.2不同类型的循环神经网络81
5.4.3不同类型的自动编码器82
5.4.4不同结构的卷积神经网络83
【作业】84
【实训】神经网络的Python简单实例86
第6课贝叶斯分类器99

【导读案例】贝叶斯之谜99
6.1贝叶斯模型100
6.1.1贝叶斯学派100
6.1.2先验与后验概率100
6.1.3贝叶斯定理101
6.2贝叶斯分类102
6.3朴素贝叶斯分类103
6.3.1算法设计的概念103
6.3.2朴素贝叶斯分类算法104
6.3.3半朴素贝叶斯分类器104
6.4EM算法105
6.5朴素贝叶斯分类流程105
6.6朴素贝叶斯定理应用106
6.6.1文本分类106
6.6.2贝叶斯拼写检查器108
【作业】109
【实训】朴素贝叶斯分类示例三则111
第7课集成学习115

【导读案例】对AI模型的大规模红队
演练115
7.1集成学习的概念117
7.1.1集成学习的方法118
7.1.2集成学习的发展118
7.1.3集成学习的主流方法119
7.2Boosting120
7.3Bagging与随机森林121
7.3.1置信区间与置信水平121
7.3.2Bagging122
7.3.3随机森林123
7.3.4Boosting与Bagging123
7.4Stacking124
7.5结合策略124
7.5.1平均法125
7.5.2投票法125
7.5.3学习法125
7.6多样性126
7.7模型融合方法126
7.7.1线性加权融合法126
7.7.2交叉融合法127
7.7.3瀑布融合法127
7.7.4特征融合法127
7.7.5预测融合法128
7.7.6分类器Boosting思想128
【作业】128
【实训】用集成学习方法破解
AI实践难题130
第8课支持向量机133

【导读案例】机器学习助力绘制
人脑地图133
8.1支持向量机基础135
8.1.1关于分类分析135
8.1.2线性可分与线性不可分135
8.2什么是支持向量机136
8.2.1SVM的定义137
8.2.2SVM工作方式138
8.2.3SVM的性质140
8.2.4SVM算法原理140
8.3线性可分SVM——硬间隔141
8.3.1超平面与间隔141
8.3.2间隔最大化142
8.3.3支持向量142
8.4线性SVM——软间隔142
8.5非线性SVM——核技巧143
【作业】144
【实训】一个支持向量机算法
（Python）的简单案例145
第9课聚类分析149

【导读案例】神经科学三大基本
定律149
9.1什么是聚类150
9.1.1聚类的定义151
9.1.2性能度量152
9.1.3距离计算152
9.2基于原型的聚类153
9.2.1k-均值及其变体154
9.2.2学习向量量化159
9.2.3高斯混合聚类159
9.3基于密度的DBSCAN聚类160
9.4基于层次的聚类163
9.4.1分裂型层次聚类164
9.4.2团聚型层次聚类164
9.5聚类算法比较165
【作业】165
【实训】用k-均值聚类算法分析
水道航行条件167
第10课降维与特征选择171

【导读案例】五大趋势塑造数据科学
和机器学习的未来171
10.1数据降维172
10.1.1维数与维数灾难172
10.1.2稀疏性174
10.1.3降维174
10.1.4k-近邻学习175
10.2降维技术176
10.2.1主成分分析（PCA）176
10.2.2线性判别分析（LDA）178
10.3流形学习179
10.4度量学习180
10.5特征选择181
10.5.1特征选择的意义181
10.5.2子集搜索与评价181
10.5.3过滤式选择182
10.5.4包裹式选择182
10.5.5嵌入式选择182
10.6稀疏表示与字典学习183
10.7压缩感知184
【作业】184
【实训】学习PCA方法降维
（Python实现）186
第11课半监督学习191

【导读案例】游戏人工智能191
11.1半监督学习基础193
11.1.1关于弱监督学习193
11.1.2半监督学习的定义194
11.1.3一致性正则化195
11.1.4起源与发展196
11.2三个基本假设196
11.3半监督学习分类198
11.4代理标签方法199
11.4.1自训练方法199
11.4.2多视图训练200
11.4.3协同训练200
11.4.4三体训练201
11.5自监督学习201
【作业】202
【实训】半监督学习在视觉关系
检测上的应用203
第12课概率图模型207

【导读案例】几乎所有验证码测试中
机器人都能胜过人类207
12.1概率图模型概述208
12.1.1概率图模型的定义208
12.1.2条件独立性209
12.2概率图模型分类210
12.2.1因子图210
12.2.2有向图模型211
12.2.3无向图模型212
12.3构造贝叶斯网络212
12.3.1表示（结构）213
12.3.2推断213
12.3.3学习214
12.3.4一个简单例子214
【作业】215
【实训】贝叶斯网络初步应用：
胸部疾病诊所217
第13课推荐系统222

【导读案例】奈飞推荐系统222
13.1推荐系统概述225
13.1.1推荐系统的定义225
13.1.2推荐策略226
13.1.3推荐方法组合228
13.2评价推荐系统229
13.3协同过滤229
13.4推荐方法231
13.4.1基于用户评价的推荐231
13.4.2基于人的推荐232
13.4.3基于标签的推荐232
【作业】232
【实训】开发实战：新闻推荐系统234
第14课深度学习237

【导读案例】MIT新突破：新型光学
深度神经网络系统237
14.1深度学习概述238
14.1.1深度学习的概念239
14.1.2深度学习的意义239
14.1.3深度学习的定义240
14.2深度神经网络241
14.2.1神经网络理解图片241
14.2.2训练神经网络242
14.3深度学习的方法243
14.3.1识别正方形243
14.3.2识别猫243
14.3.3训练机械手抓取动作244
14.3.4训练人工神经网络写文章244
14.3.5图像深度信息采集244
14.3.6胃镜检查245
14.4卷积神经网络245
14.4.1为什么选择卷积246
14.4.2卷积神经网络结构247
14.5深度学习的应用248
【作业】249
【实训】ChatGPT是个啥251
第15课强化学习255

【导读案例】什么是大模型（LLM）255
15.1强化学习的定义257
15.1.1发展历史258
15.1.2基本原理258
15.1.3模型设计259
15.1.4数据依赖性260
15.2与监督学习的区别261
15.2.1学习方式261
15.2.2先验知识与标注数据263
15.3强化学习方法263
15.3.1基于模型与免模型环境263
15.3.2探索与利用264
15.3.3预测与控制264
15.4强化学习分类264
15.4.1从奖励中学习265
15.4.2被动强化学习265
15.4.3主动强化学习266
15.4.4强化学习中的泛化266
15.4.5学徒学习与逆强化学习266
15.5强化学习的应用267
15.5.1游戏博弈267
15.5.2机器人控制268
15.5.3医疗服务业268
15.5.4电子商务269
【作业】269
【实训】强化学习简单例子：
机器狗迷宫271
第16课机器学习的发展277

【导读案例】Meta科学家发现深度
学习神经缩放定律277
16.1机器学习的可持续发展279
16.2迁移学习279
16.2.1迁移学习的定义280
16.2.2迁移学习的分类282
16.3对抗学习284
16.3.1对抗学习的基础284
16.3.2对抗学习的定义285
16.3.3对抗学习的类别285
16.4分布式机器学习286
16.5自动机器学习287
16.5.1超参数优化287
16.5.2元学习288
16.5.3神经网络架构搜索289
16.5.4自动化特征工程289
【作业】289
【课堂学习与实训总结】291
作业参考答案296
参考文献300

      姚云，中共党员、高级讲师、维修电工一级技师，现为嘉兴技师学院人工智能系主任。曾在市级双高课比赛中荣获二等奖，与其他老师合作的创新作品荣获省一等奖，撰写的论文多次在省市比赛中获奖，也曾指导学生在省市创新创业大赛和技能比赛中多次获奖。获评过市级优秀指导教师、市属级学科带头人、市属级“家庭事业兼顾型”、“教坛立功、岗位成才”巾帼先锋，多次荣获校级先进工作者、校级先进党员等称号。

      周苏，1982年华东水利学院计算机应用专业本科毕业，1986年由水电部研究所调入杭州大学计算机系任教，1991年破格晋升副教授，1999年调入浙江大学城市学院计算机系任教，2005年晋升教授。在杭州大学、浙江大学、浙江大学城市学院、浙江工业大学之江学院、温州大学城市学院、嘉兴学院南湖学院、温州职业技术学院等多所院校专/兼职任教，教学经验丰富。 长期从事计算机等专业教学工作，担任计算机基础、计算机导论、软件工程、软件测试技术、软件体系结构、电子商务概论、移动商务、多媒体技术、项目管理、管理信息系统、应用统计学、C语言程序设计、面向对象程序设计、网络传播技术、网络生态学、人机交互技术、艺术设计概论、艺术欣赏概论、计算机平面设计、信息管理与信息系统概论、信息资源管理、办公软件高级应用、IT应用文写作等课程的教学，对计算机学科教学以及应用型院校教学有深刻理解。

本书是面向职业教育和普通读者的机器学习课程类的通识教材，为了使更多的读者能够通过本书对机器学习技术有所了解，内容力图包含生动丰富的机器学习以及人工智能、大数据知识，意在帮助读者理解机器学习的原理知识，了解机器学习的算法思想，熟悉机器学习的应用场景，掌握机器学习的运用方法。本书知识内容系统、全面，包括机器学习基础、线性模型、决策树、神经网络、贝叶斯分类器、集成学习、支持向量机、聚类分析、降维与特征选择、半监督学习、概率图模型、推荐系统、深度学习、强化学习和机器学习的发展等内容。