本书是河南省“十四五”普通高等教育规划教材，根据普通高等院校数据科学与大数据技术专业实践课程的教学标准，针对学生知识技能和职业发展需求编写。

全书采用“业务场景驱动+技术实现”的编写模式，由一线教师联合企业双元开发，选取交通、零售业、健康医疗、金融、旅游、电力、食品安全、法律等行业的大数据技术典型应用案例，通过案例实操引导学生理解大数据相关理论知识、技术原理和应用，提升数据科学技术的核心应用能力，有效实现教材内容与产业前沿的精准对接。

本书适合作为普通高等院校“数据科学与大数据技术”专业的实践课程教材，也可作为培训机构相关专业的培训教材或参考书。

       “十四五”期间，我国大数据产业受到了国家的高度重视，发展迅猛。2020年4月，中共
中央、国务院印发的《关于构建更加完善的要素市场化配置体制机制的意见》提出“加快培育数据要素市场”；党的二十届三中全会提出“要健全因地制宜发展新质生产力体制机制，健全促进实体经济和数字经济深度融合制度”；2025年4月，国家发展和改革委员会、国家数据局发布的《2025年数字经济发展工作要点》提出“加快释放数据要素价值，推进数据资源整合共享，统筹‘东数西算’工程与城市算力建设，推动实体经济和数字经济深度融合”。
       随着产业的快速升级，社会对数据科学人才的需求急剧增长。教育部已将“大数据”确立为高等学校教学改革和教学建设的重点。数据科学作为一门新兴的交叉学科，融合了计算机科学、统计学、数学等多个学科的知识，在有效处理和应用日益庞大的数据量方面具有举足轻重的地位。在此背景下，多所高校积极响应，陆续开设了数据科学相关专业和课程，以满足社会对数据科学人才的迫切需求。
       本书针对普通高等院校数据科学与技术专业实践教学需求编写，编写宗旨是让学生在掌握大数据理论的同时，通过项目驱动的实践方式，提升实际操作能力和培养创新思维。期望本书能够针对数据科学、金融风控、健康医疗等领域的实际需求，培养具备实践能力的专业技术人才，为产业的数智化转型贡献力量。本书适合作为普通高等院校学生学习大数据技术的教材，也能为学生在即将面临的职业挑战中奠定坚实的大数据技术基础。
       本书精选交通、零售、健康医疗、金融、旅游、电力、食品安全、法律等行业的典型案例，全景呈现大数据技术的多元落地场景。学生可在真实业务场景中洞悉数据科学如何优化业务、控制风险、洞察客户，进而培养跨领域的数据驾驭力。本书采用“业务场景驱动+技术实现”的模式编写：先以场景阐释需求与价值，再回归问题提炼方法与技术；不同业务背景带来的数据分析需求差异，持续锤炼学生在案例实战中的灵活性与创新力。
       全书共8章，第1章聚焦GPS、车联网等车辆轨迹数据的采集、预处理、可视化及智能交通管理、路径优化和应急场景模拟等仿真应用，展示数据科学在智能交通管理中的核心作用。第2章围绕电商数据精细化运营场景，探讨电商平台如何利用Hadoop等技术构建数据仓库，集成Flume/Kafka采集体系，实现用户行为分析与精准营销。第3章阐述多源医疗数据（电子病历、影像、基因组）的特征与政策背景，探讨医疗数据的获取、处理及人工智能在辅助诊断、药物研发中的应用。第4章针对金融行业信贷风控场景，通过构建基于信贷数据的风险评估体系，进行用户行为分析、用户画像及聚类分析，实现信贷风险的动态监测与干预。第5章聚焦文旅行业旅游服务场景，整合用户画像与行为数据，设计多维度推荐策略提升旅游服务精准度。第6章以电力行业大数据的实际落地为核心，围绕两大核心应用场景展开：其一为发电侧的光伏电站功率预测；其二为用电侧的用户行为分析。通过案例拆解与实操演示，清晰呈现了大数据技术如何切实解决行业痛点，包括提升电力系统运转效率、破解新能源消纳难题、优化用电管理策略。第 7 章聚焦食品供应链全链条溯源场景，通过构建“数据采集—存储—合约—应用”一体化的食品溯源平台，结合物联网、大数据和人工智能等技术的融合应用，实现食品供应链的全流程透明化、智能化与可信化管理。第 8 章围绕合同风险智能提示等法律科技应用场景，在分析法律科技大数据和行业典型案例基础上，通过合同关键条款分析、合同风险智能提示、法律文书词云图等实践任务让学生体验法律科技大数据的魅力。
       本书编写着重从三方面突出高校人才培养特点：
       （1）落实立德树人根本任务。将课程思政融入案例设计中，通过具体行业应用培养学生的社会责任感和职业道德意识。本书特别强调数据合规和隐私保护，可帮助学生理解数据分析的职业伦理，提醒学生在未来职业中必须遵守数据隐私和合规要求，培养其尊重数据伦理的意识。
       （2）“校企双元”开发。全书由高校长期从事数据科学教学的一线教师和企业工程师联合编写。本书以实际业务需求为导向，将数据科学的知识点融入每个行业案例的完整分析流程中，包括数据获取、清洗、特征工程、模型构建、结果分析等环节。案例配有详细的代码示例和操作说明，学生可通过逐步实施案例，巩固学习成果。
       （3）配套丰富的资源。本书配备微视频完整的项目实训源代码、电子课件、习题答案、电子教案、案例涉及的数据集下载网址等资源，读者扫描书中二维码即可观看微视频，其他资源可登录中国铁道出版社有限公司教育资源数字化平台（https://www.tdpress.com/51eds）下载。
       本书由赵军民、闫晓妍、魏新红任主编，杨盛苑、王卓、何燚任副主编，范勇峰、赵昊、张凤月、陈赛飞扬、刘佳、刘畅、郝伟、张军、宋沛参与编写。
       在编写过程中，编者参考了和鲸社区电力行业的相关案例，在此对华东师范大学刘旗洋等相关作者表示衷心的感谢！
       由于时间仓促，编者水平有限，书中难免存在疏漏和不妥之处，恳请广大读者不吝指教。


       编 者
       2025年7月

第1章 交通大数据应用案例  / 1
1.1 案例概述  / 1
1.2 车辆轨迹数据采集及存储  / 2
1.2.1 车辆轨迹数据的来源  / 2
1.2.2 车辆轨迹数据的存储  / 2
1.2.3 车辆轨迹数据的特性  / 3
1.2.4 车辆轨迹数据的应用场景   / 3
1.3 数据预处理  / 5
1.3.1 数据清洗  / 5
1.3.2 数据对齐  / 6
1.3.3 轨迹压缩与插值  / 6
1.3.4 数据预处理的工具与实现   / 7
1.4 数据分析与可视化  / 8
1.4.1 可视化工具与平台   / 8
1.4.2 轨迹聚类分析   / 9
1.4.3 模式挖掘与预测   / 10
1.4.4 交通流量分析   / 11
1.4.5 基础可视化方法   / 13
1.4.6 高级可视化技术  / 14
1.5 车辆轨迹数据的仿真应用  / 15
1.5.1 交通仿真模型构建  / 15
1.5.2 交通规划与流量优化仿真  / 16
1.5.3 自动驾驶算法测试仿真  / 17
1.5.4 车辆性能评估仿真  / 17
1.5.5 应急场景与交通安全仿真  / 18
小结  / 19
习题  / 19
第2章 零售业大数据应用案例  / 20
2.1 案例概述  / 20
2.2 相关大数据技术  / 22
2.2.1 Hadoop框架  / 22
2.2.2 数据采集工具  / 24
2.2.3 Spark分布式计算  / 26
2.2.4 Zookeeper  / 26
2.2.5 DolphinScheduler  / 27
2.2.6 Superset  / 27
2.3 用户行为日志数据和业务数据采集  / 28
2.3.1 用户行为日志数据采集  / 28
2.3.2 业务数据采集  / 29
2.4 数据处理和存储  / 32
2.5 数据可视化  / 36
小结  / 40
习题  / 40
第3章 健康医疗大数据应用案例  / 41
3.1 案例概述  / 41
3.1.1 案例背景  / 41
3.1.2 案例描述  / 45
3.2 数据获取  / 45
3.2.1 数据来源  / 45
3.2.2 数据采集  / 48
3.3 数据处理  / 50
3.4 数据可视化  / 58
3.5 数据科学驱动医疗决策  / 64
3.5.1 理论基础与分析框架  / 64
3.5.2 应用价值与决策支持机制  / 65
3.5.3 案例实操  / 65
小结  / 74
习题  / 74
第4章 金融大数据风险控制应用案例  / 75
4.1 案例概述  / 75
4.1.1 金融风险控制的现实意义与挑战  / 75
4.1.2 案例场景与数据来源说明  / 76
4.1.3 应用目标与分析任务设计  / 77
4.2 数据管理  / 78
4.2.1 数据导入与初步探索  / 78
4.2.2 数据清洗与预处理  / 82
4.2.3 特征工程与派生变量构建  / 85
4.3 实时用户行为分析  / 89
4.3.1 用户行为数据模拟与构建  / 89
4.3.2 异常行为识别方法  / 91
4.3.3 行为特征与信用风险相关性分析  / 94
4.4 用户画像  / 97
4.4.1 用户画像构建流程  / 97
4.4.2 聚类分析与用户分群  / 99
4.4.3 典型用户群体特征挖掘与画像展示  / 101
4.5 风险决策与干预  / 103
4.5.1 风险评分模型构建与评估  / 103
4.5.2 风险等级划分与干预策略制定  / 105
4.5.3 风险决策模型与效果评估  / 106
小结  / 109
习题  / 109
第5章 旅游大数据个性化推荐应用案例  / 110
5.1 案例概述  / 110
5.1.1 案例描述与应用场景  / 110
5.1.2 个性化推荐的核心理念与挑战  / 112
5.1.3 数据结构说明  / 113
5.2 数据管理  / 114
5.2.1 数据表字段解析  / 114
5.2.2 数据清洗与预处理方法  / 115
5.2.3 数据整合与可视化初探  / 118
5.3 实时用户行为分析  / 122
5.3.1 用户行为类型统计  / 122
5.3.2 用户行为时序分析与活跃度评估  / 124
5.3.3 用户行为路径构建与转化分析  / 128
5.4 用户画像  / 132
5.4.1 基于静态信息构建用户标签  / 132
5.4.2 基于行为数据构建偏好模型  / 134
5.4.3 用户画像多维可视化与分群分析  / 137
5.5 用户推荐  / 141
5.5.1 推荐类型设计与解释  / 141
5.5.2 个性化推荐算法实现  / 143
5.5.3 热门推荐算法实现  / 145
5.5.4 城市推荐算法实现  / 146
5.5.5 优化思考  / 148
小结  / 149
习题  / 149
第6章 电力行业大数据应用案例/ 150
6.1 案例概述  / 150
6.1.1 电力系统的结构  / 150
6.1.2 电力行业的数据来源  / 151
6.1.3 大数据在电力行业的应用案例  / 152
6.2 数据处理  / 155
6.2.1 数据集介绍  / 155
6.2.2 功率数据可视化分析  / 156
6.3 电力负荷预测与新能源调度  / 165
6.4 用电行为分析  / 174
6.4.1 智能电表的数据来源  / 174
6.4.2 智能电表模型设计与数据导入  / 174
6.4.3 智能电表业务场景示例  / 177
小结  / 180
习题  / 180
第7章 食品安全行业大数据应用案例/ 181
7.1 案例概述  / 181
7.1.1 案例背景  / 181
7.1.2 案例描述  / 182
7.2 数据管理  / 183
7.3 数据分析及可视化  / 184
7.4 食品溯源  / 196
7.4.1 构建食品溯源平台  / 196
7.4.2 案例实操  / 197
小结  / 203
习题  / 203
第8章 法律科技大数据应用案例/ 205
8.1 案例概述  / 205
8.1.1 传统法律服务  / 205
8.1.2 法律科技：数据科技驱动的创新变革  / 206
8.1.3 法律科技对传统法律服务的冲击与挑战  / 207
8.2 法律大数据和行业典型案例分析  / 208
8.2.1 法律大数据  / 208
8.2.2 行业典型案例比较分析  / 210
8.3 合同文本数据分析  / 212
8.4 合同风险智能提示  / 214
8.5 法律文本词云图  / 216
小结  / 219
习题  / 219

赵军民，博士，河南城建学院教授，研究方向为自然语言处理，主讲“数据库原理与应用”课程，负责河南省在线开放精品课程1门、一流课程1门，主编国家级“十四五”规划教材1部、省级新形态教材1部。

闫晓妍，博士，河南城建学院讲师，研究方向为自然语言处理、数据挖掘。主讲“数据分析与可视化”课程，参编教材2部，出版专著1部。

魏新红，河南城建学院副教授，研究方向为数据挖掘与分析，主讲“大数据应用开发语言”课程，负责河南省在线开放精品课程1门、一流课程1门，省级教改项目1项。

省规划教材，定位精准适配：本书为河南省 “十四五” 普通高等教育规划教材，专为普通高校数据科学与大数据技术专业打造，也适用于培训机构教学及相关从业者参考，贴合专业学习与职业发展需求。
场景驱动编写，案例覆盖广泛：采用 “业务场景驱动 + 技术实现” 模式，精选交通、零售、医疗、金融等八大行业典型案例，全景呈现大数据技术落地场景，理论结合实操锤炼应用能力。
校企双元开发，内容贴合前沿：由高校一线教师与企业工程师联合编写，紧扣数字经济发展新政，将数据获取、清洗等全流程知识点融入案例，配套代码示例与操作说明，学用衔接紧密。
资源配套丰富，兼顾思政育人：融入课程思政，强调数据合规与隐私保护；配套微视频、实训源码、电子课件等丰富资源，扫码即可观看视频，其余资源可线上下载，适配教学与自学。