内 容 简 介
针对高等职业教育大数据、云计算等专业教学要求，本书以购物网站项目为背景，将Hadoop大数据平台在购物网站项目中的应用划分为多个项目，各项目划分为多个任务，通过“项目导向、任务引领”的方式，阐述项目实践中大数据技术的应用。本书内容包括大数据的认知、虚拟化技术的认知、Hadoop在购物网站中的应用、购物网站中的数据存储、购物网站中的数据分析、购物网站中的海量数据存储技术、购物网站中的数据仓库技术、购物网站中的实时数据分析、购物网站中的数据迁移。

前 言
本书讲解大数据基本原理和应用，用于帮助高等职业院校大数据、云计算等专业学生了解大数据和云计算基本概念、虚拟化技术、分布式大数据系统Hadoop等技术架构，并掌握分布式并行计算框架MapReduce、分布式数据库HBase和数据仓库Hive等技术的应用。
Hadoop大数据平台构建与应用的主要任务是培养学生搭建Hadoop大数据平台的能力，以及利用大数据技术构建大数据平台并应用的能力，使学生了解大数据基本工作原理，掌握大数据基本技术，具备大数据、云计算人才必须具备的大数据知识和技能，为后续工作和学习打下良好的理论和实践基础。
本书以购物网站项目为背景，将Hadoop大数据平台在购物网站项目中的应用划分为多个项目，通过“项目导向、任务引领”的方式，阐述项目实践中大数据技术的应用。在内容上，将大数据应用技术与具体实例相结合，注重培养学生的Hadoop大数据平台搭建和运维技能；在项目设计上，循序渐进地培养学生的具体动手能力。
本书共9个项目，内容包括大数据的认知、虚拟化技术的认知、Hadoop在购物网站中的应用、购物网站中的数据存储、购物网站中的数据分析、购物网站中的海量数据存储技术、购物网站中的数据仓库技术、购物网站中的实时数据分析、购物网站中的数据迁移。其中，以购物网站贯穿全书，帮助学生熟练应用大数据技术进行大数据采集、分析和处理。
本书配套了丰富的数字化教学资源，包括微课视频、实操视频、PPT、课程标准、课程实施方案、案例素材、项目源代码、习题及解析等。本书配套的资源已在“智慧职教 大数据技术专业国家资源库”上线，教师可以调用本课程资源构建符合自身教学特色的SPOC课程，也可以搭建“线上线下混合式教学”课堂，促进教育教学改革，提高教学效率。
本书由编者在多年教学经验积累和教学实践的基础上精心编写而成。本书主要特点如下：
1. 知识点全面、重点突出
本书深入浅出地描述了大数据平台的搭建与具体应用，全面系统地阐述了大数据的基础知识和应用场景，重点讲解实际应用。
2. 项目任务化导向
本书编写过程中将项目任务化，学生一开始就能明确需要解决什么问题，用什么方案和技术去实现，最后梳理涉及的知识点、工作原理和技术架构，有助于快速提升学生的应用能力和动手实践能力。
3. 提供实训资源和电子教案
本书的项目源码、电子资源和电子教案等教学资源可通过中国铁道出版社教育资源数字化平台https://www.tdpress.com/51eds下载。读者也可给编者发电子邮件（yhf20022001@163.com）获取电子教学资源。
本书由余恒芳任主编，张克斌、孙秀芳任副主编。具体编写分工如下：项目1、4、5、8、9由余恒芳编写，项目2、3由孙秀芳编写，项目6、7由张克斌编写，黄彦韬负责项目调研和企业案例编写工作。全书由余恒芳统稿，谢日星主审。
由于时间仓促，书中不妥或疏漏之处在所难免，敬请广大读者批评指正。同时，恳请读者一旦发现错误，及时与编者（yhf20022001@163.com）联系，以便尽快更正，编者将不胜感激。
编 者
2025年5月

目 录
项目 1  大数据的认知  1
任务 1 了解新一代信息技术 1
任务 2 了解大数据 26
项目 2  虚拟化技术的认知  31
任务 1 了解虚拟化技术 32
任务 2    VMware Workstation 的安装和应用 35
任务 3 统信操作系统的安装和应用  41
任务 4 终端模拟访问程序使用  53
项目 3  Hadoop 在购物网站中的应用  59
任务 1 了解 Hadoop 体系架构  59
任务 2 了解 Hadoop 与分布式开发  62
任务 3    Hadoop 的安装与配置  66
任务 4    Hadoop 集群的动态管理  85
项目 4  购物网站中的数据存储 90
任务 1 了解 HDFS 架构  91
任务 2 了解 HDFS Shell 命令  99
任务 3 了解购物网站中的数据存储  105
任务 4    YARN 资源调度  110
任务 5    ZooKeeper 分布式应用程序协调服务  117
项目 5  购物网站中的数据分析  138
任务 1 了解 MapReduce 工作原理  138
任务 2 分析购物网站中的数据  145
任务 3    MapReduce 性能调优  152
项目 6  购物网站中的海量数据存储技术   160
任务 1 了解 HBase 系统架构  161
任务 2 了解 HBase 表视图  168
任务 3    HBase 的安装与部署  173
任务 4    HBase 数据库应用  179
项目 7  购物网站中的数据仓库技术   185
任务 1 了解 Hive 系统架构  186
任务 2    Hive 存储和压缩  192
任务 3    Hive 的安装与部署  202
任务 4    Hive 管理数据  214
项目 8  购物网站中的实时数据分析  224
任务 1 了解 Spark 系统架构  224
任务 2    Spark 的安装与部署  234
任务 3 购物网站中的实时数据分析  240
项目 9  购物网站中的数据迁移 251
任务 1    了解 Sqoop 工作原理  251
任务 2    Sqoop 的安装与部署    256
任务 3 迁移购物网站中的数据  260
参考文献  278

余恒芳，副教授，武汉软件工程职业学院计算机信息管理专业、云计算技术应用专业教研室主任。2002年至今一直在武汉软件工程职业学院担任专任教师，从事云计算大数据教育教学研究与实践工作。主要著作有《大数据技术基础》《数据库原理与SQL语言》《ASP.NET应用程序开发》。

将Hadoop大数据平台在购物网站项目中的应用分解为多个子项目，子项目又细化为多个任务点，以项目导向，任务引领的方式，让学习者在项目实践中学习和应用大数据技术。