深度学习是人工智能的核心技术之一，本书较系统地介绍了深度学习的基本内容，主要包括深度学习基础、前馈神经网络、卷积神经网络、循环神经网络、自编码器、Transformer模型、生成对抗网络、深度信念网络和强化学习模型等内容。
本书注重基本概念、基本内容和基本方法的介绍，并通过应用实例来说明模型与算法，语言精练、逻辑层次清晰、内容先进实用，适合作为高等学校人工智能专业课程教材，也可作为人工智能应用、开发人员的参考书。

深度学习概念由Geoffrey Hinton等科学家在2006年提出，是基于机器学习延伸出来的一个新领域，以神经网络算法为起源，并伴随大数据和计算力的提高而产生的一系列新的算法。深度学习已成功应用在自然语言处理、语音识别、图像处理与计算机视觉等领域，并在以上领域取得了突破性的进展。
人工神经网络是基于生理学的智能仿真模型，通过调整其内部大量节点之间相互连接的关系，来达到处理信息的目的，并具有自学习和自适应的能力，是人工智能连接学派的典型代表。
统计学是机器学习重要学派之一，是通过大量的数据发现其所存在的规律。深度学习的出现基本上解决了一对一映射的问题，因此出现了AlexNet里程碑式的研究成果。但是，单一的深度学习不能解决序列决策问题，强化学习的出现使该问题得到了新的进展。
深度学习利用深度神经网络特有的感知能力对目标的特征进行提取与识别，从而完成对物体的分类和检测等。深度学习与强化学习融合产生了深度强化学习，深度强化学习结合了深度学习的感知能力和强化学习的决策能力，克服了强化学习只适用于状态为离散且低维的缺陷，可直接从高维原始数据学习控制策略。
本书所介绍的典型深度学习模型，包括曾在神经网络发展史上产生重大影响的前馈神经网络和卷积神经网络，也包括最近出现的信念网和Transformer模型。在神经网络发展的历史长河中，众多学者对深度学习的发展做出了卓越的贡献，推动了深度学习的发展。
全书共分9章，内容安排如下：
第1章主要包括深度学习的发展历程、机器学习基础、神经网络模型基础等内容。
第2章主要包括分类模型、感知器和BP神经网络等内容。
第3章主要包括卷积网络的产生、CNN结构、CNN训练、逆CNN、CNN应用等内容。
第4章主要包括循环神经网络概述、RNN的结构、RNN的I/O模式、长短期记忆模型、基于RNN的语言模型等内容。
第5章主要包括自编码器概述、常用的自编码器、深度自编码器、深度自编码器应用等内容。
第6章主要包括Transformer模型的特点与注意力机制、Transformer模型结构、Transformer工作过程与训练等内容。
第7章主要包括GAN概述、GAN算法流程、GAN训练、多种形式的GAN结构、GAN的优点和应用场景等内容。
第8章主要包括DBN的产生和发展、玻尔兹曼机与受限玻尔兹曼机、DBN的结构与构建、DBN训练等内容。
第9章主要包括强化学习原理、SARSA算法、QLearning算法、策略梯度算法、ActorCritic RL算法、强化学习模型与算法、RL的应用等内容。
本书在结构上为积木状，各章内容独立论述。对于每一种模型的介绍，都遵循以下模式：提出问题→设计模型的基本思想→构建数理模型与算法→拓展应用场景。本书适合作为高等学校人工智能专业课程教材，也可作为人工智能应用、开发人员的参考书。
由于编者水平有限，书中不足之处在所难免，敬请读者批评指正。

2025年2月

第1章概述1

11深度学习的发展历程2

111深度学习的起源2

112深度学习的发展3

113深度学习的爆发3

12机器学习基础3

121机器学习方式4

122机器学习的主要流派与演化
过程8

123泛化能力与增强方法9

124模型性能评价指标12

125相似性的度量与误差计算14

13神经网络模型基础19

131神经网络模型特性20

132学习方式与学习规则25

133深度学习模型原理33

小结37

思考与练习37



第2章前馈神经网络38

21分类模型38

211分类系统38

212判别函数39

213线性不可分的分类41

22感知器42

221离散感知器42

222连续感知器45


23BP神经网络46

231多层感知器结构46

232误差反向传播算法47

233Dropout方法52

234深度神经网络训练过程52

235回归神经网络54


小结56

思考与练习56



第3章卷积神经网络57

31卷积神经网络的产生58

311问题的提出58

312卷积神经网络的特点59

32CNN的结构60

321CNN系统结构60

322输入层60

323卷积层62

324池化层68

325输出层69


33CNN的训练71

331CNN的训练过程71

332CNN的正向传播过程72

333CNN的反向传播过程72

334CNN的权值更新73

34逆CNN75

341逆池化与逆卷积75

342逆池化运算76


343逆卷积运算77

35CNN的应用79

351CNN的应用特点79

352CNN的应用领域80

小结80

思考与练习80



第4章循环神经网络82

41循环神经网络概述83

411RNN的原理83

412RNN的记忆能力83

42RNN的结构84

421埃尔曼神经网络84

422单向循环神经网络84

423双向循环神经网络88

424BPTT学习算法89

425堆叠RNN92

43RNN的I/O模式92

431序列到类别模式93

432同步序列到序列模式93

433异步序列到序列模式94

44长短期记忆模型94

441RNN的记忆能力与长期
依赖94

442LSTM模型结构95

443模型参数的调节方法97

45基于RNN的语言模型98

451文本处理的编码解码框架98

452注意力模型99

453双向RNN注意力模型103

454词嵌入与词嵌入算法103

455基于RNN的语言模型举例107

小结109

思考与练习109



第5章自编码器110

51自编码器概述110

511表征学习110

512自编码器工作原理111

52常用的自编码器114

521欠完备的自编码器114

522稀疏自编码器 115

523栈式自编码器117

524去噪自编码器121

525变分自编码器123

53深度自编码器126

531基于多层BP网络的深度
自编码器126

532基于卷积神经网络的深度
自编码器126

54深度自编码器应用127

541深度自编码器主要应用
场景127

542典型应用127

小结128

思考与练习128



第6章Transformer模型129

61Transformer模型的特点与注意力
机制129

611Transformer模型的主要
特点130

612注意力机制和自注意力
机制130

613Transform多头注意力机制137

62Transformer 模型结构140

621总体架构140

622位置向量140

623编码器块142

624解码器块144

625构建Transformer英汉翻译
系统过程149

63Transformer工作过程与训练151

631Transformer工作过程151

632Transformer模型训练155

633Transformer并行训练
与测试157

小结159

思考与练习159



第7章生成对抗网络160

71GAN概述160

711GAN的产生背景161

712GAN的基本原理161

72GAN算法流程162

721GAN工作过程163

722GAN结构164

73GAN训练165

731GAN训练特点165

732GAN训练过程165

733损失函数166

734GAN优化169

735条件生成对抗网络170

74多种形式的GAN结构171

741多判别器单生成器171

742单判别器多生成器171

743多生成器多判别器172

75GAN的优点和应用场景172

751GAN的优点172

752GAN的应用场景172

小结174

思考与练习174



第8章深度信念网络175

81DBN的产生与发展175

811DBN的产生175

812DBN的发展176

82玻尔兹曼机与受限玻尔兹曼机176

821玻尔兹曼机176

822受限玻尔兹曼机179

823RBM训练183

83DBN的结构与构建185

831DBN的结构185

832DBN的构建186

84DBN训练186

841DBN预训练188

842DBN调优189

小结191

思考与练习191



第9章强化学习模型192

91强化学习原理193

911智能体及其特性193

912RL模型与工作过程194

913RL算法分类197

92SARSA算法199

921SARSA算法基本原理199

922SARSA算法流程200

923SARSA(λ)算法204

93QLearning算法207

931QLearning算法基本原理207

932QLearning算法流程209

933QLearning算法与SARSA算法
比较211

94策略梯度算法212

941基于值的RL算法的局
限性212

942基于策略算法212

943蒙特卡罗策略梯度过程212

95ActorCritic RL算法213

951ActorCritic RL算法基本
原理213

952ActorCritic RL算法流程214

96深度强化学习模型与算法215

961深度Q网络算法215

962深度确定性策略梯度算法216

97RL的应用217

971RL应用方法217

972RL应用流程218

973RL应用领域218

小结219

思考与练习219



参考文献220

      陈明，国内计算机科学领域资深专家，曾任大连理工大学计算机科学与工程系教授、系主任，中国石油大学(北京)计算机科学与技术系教授、系主任。中国计算机学会理事、中国人工智能学会理事、中国人工智能学会智能信息网专委会副主任。全国高校计算机基础教育研究会常务理事、教育部IT&AT 教育工程专家组成员。

本书在结构上为积木状，各章内容独立论述。对于每一种模型的介绍，都遵循以下模式：提出问题→设计模型的基本思想→构建数理模型与算法→拓展应用场景。