本书是根据教育部最新发布的《高等职业学校专业教学标准》中对本课程的要求修订而成的。

本书主要内容包括认识大数据、大数据技术基础、大数据管理、大数据统计分析技术、数据挖掘、大数据可视化、大数据安全、大数据应用案例实操等。本书编写是以国云数据自主研发的大数据分析工具“魔镜”为平台,理论结合实践,通过具体案例介绍如何进行大数据分析。本书为新形态一体化教材,借助先进技术,丰富内容呈现形式，配套多媒体助学助教资源,助力提高教学质量和教学效率。

本书可作为高等院校大数据人门课程的教材,亦可作为大数据技术相关培训教材,同时也可供大数据相关的从业人员参考。

第1章.认识大数据
  1.1 大数据综述 1
  1.1.1 大数据的产生 1
  1.1.2 大数据的特征 2
  1.2 大数据的基本概念 5
  1.2.1 大数据的定义 5
  1.2.2 大数据的特点 5
  1.3 大数据思维 7
  1.3.1 大数据思维的变革 7
  1.3.2 大数据思维的关注点 9
  1.4 大数据的处理过程 10
  1.4.1 大数据采集 10
  1.4.2 大数据导入与预处理 10
  1.4.3 大数据统计与分析 11
  1.4.4 大数据挖掘 11
  1.5 大数据分析工具 12
  1.5.1 InfoSphere BigInsights简介 12
  1.5.2 BigQuery简介 13
  1.5.3 “魔镜”简介 13
  1.6 大数据的应用 14
  1.6.1 大数据助石油公司智能营销、精准管理14
  1.6.2 大数据助乳业公司预测产奶量 15
  实验1 认识大数据分析工具“魔镜” 16
第2章 大数据技术基础
  2.1 基础架构支持24
  2.1.1 Hadoop 24
  2.1.2 HBase 26
  2.1.3 MapReduce 26
  2.1.4 Hive 27
  2.1.5 Python 27
  2.1.6 R语言28
  2.2 云计算 28
  2.2.1 云计算的特点29
  2.2.2 云计算与大数据30
  2.3 数据采集30
  2.3.1 数据采集的意义 30
  2.3.2 数据采集的方法 31
  2.4 数据存储32
  2.4.1 数据存储的概念 32
  2.4.2 数据的存储方式 32
  2.4.3 常见数据源类型 33
  实验2 数据源接入与编辑 36
第3章 大数据管理
  3.1 大数据的清洗45
  3.1.1 数据质量 46
  3.1.2 数据清洗的作用 48
  3.1.3 数据清洗的方法和过程 49
  3.1.4 数据清洗的实例 50
  3.2 数据类型和数据转换 51
  3.2.1 数据类型 52
  3.2.2 数据转换 55
  3.3 大数据的提取和加载 56
  实验3 数据处理58
第4章 大数据统计分析技术
  4.1 统计分析概述69
  4.1.1 统计分析的概念 69
  4.1.2 统计分析的特点 71
  4.1.3 统计分析的应用 73
  4.2 统计分析的常见指标 75
  4.2.1 统计指标概述 75
  4.2.2.总量指标 77
  4.2.3.相对指标 80
  4.2.4.平均指标 83
  4.2.5.变异指标 88
  4.3.回归与预测90
  4.3.1.回归 90
  4.3.2.预测 92
  实验4 数据分析93
第5章 数据挖掘
  5.1 大数据挖掘概念 100
  5.1.1 数据挖掘的起源100
  5.1.2 数据挖掘的定义102
  5.2 数据挖掘任务 102
  5.2.1 数据总结102
  5.2.2.分类102
  5.2.3.关联分析103
  5.2.4.聚类103
  5.3 数据挖掘流程.103
  5.3.1.业务理解104
  5.3.2 数据理解104
  5.3.3 数据准备105
  5.3.4 建立模型105
  5.3.5 结果评价106
  5.4 数据挖掘的常用方法106
  5.4.1 决策树106
  5.4.2 遗传算法109
  5.4.3 神经网络111
  5.4.4 关联规则112
  5.4.5 粗糙集113
  5.4.6 判别分析114
  实验5 数据挖掘.116
第6章 大数据可视化
  6.1 数据可视化分类 122
  6.1.1 结构可视化122
  6.1.2 功能可视化123
  6.1.3 关联关系可视化123
  6.1.4 趋势可视化124
  6.2 可视化表现形式 125
  6.2.1 二维可视化形式125
  6.2.2 三维可视化形式126
  6.2.3 仪表盘128
  6.2.4 定制可视化形式129
  6.2.5 大数据可视化方式的选择130
  实验6 数据可视化 132
第7章 大数据安全
  7.1 大数据安全的内容 158
  7.1.1 物理安全159
  7.1.2 网络安全160
  7.1.3. 应用安全160
  7.1.4 数据隐私162
  7.2 数据保护技术.163
  7.2.1 镜像技术163
  7.2.2 快照技术164
  7.2.3 持续数据保护技术165
  7.2.4 用户管理技术166
  实验7 权限管理机制170
第8章 大数据应用案例实操
  8.1 贷款明细分析 174
  8.1.1 背景分析174
  8.1.2 需求分析175
  8.1.3 大数据分析过程175
  8.1.4 分析总结184
  8.2 电商行业销售分析 184
  8.2.1 背景分析184
  8.2.2 需求分析185
  8.2.3 大数据分析过程185
  8.2.4 分析总结192
  8.3 网站流量分析.192
  8.3.1 背景分析192
  8.3.2 需求分析192
  8.3.3 大数据分析过程193
  8.3.4 分析总结203
参考文献204