本书聚焦于Hadoop、Spark、Flink 等面向数据密集型应用的分布式计算系统，将原理、架构、编程的知识进行有机结合，统一从设计思想、体系架构、工作原理、容错机制和编程示例5 个维度进行剖析。本书注重通过横向比较阐释该类系统设计的共性原理，帮助读者形成完整、统一的知识体系。

本书概述了分布式计算系统（第1 章），根据应用场景的差异将分布式计算系统划分为批处理系统（第3、4 章）、流计算系统（第7、8 章）、批流融合系统（第9、10 章）、图处理系统（第11 章），并选取了各个类别中的典型代表。由于这些分布式计算系统不可能孤立地存在，因此本书也介绍了面向文件存储（第2 章）、资源管理（第5 章）以及协调服务（第6 章）的系统。

本书可作为高等院校数据科学与大数据技术专业高年级本科生的教学用书，以及计算机科学与技术、软件工程、数据科学与工程等专业研究生的教学用书，也可作为部分业界研发人员的参考用书。

前辅文
第1章 绪论
  1.1 分布式系统
   1.1.1 分布式系统的概念
   1.1.2 分布式系统的类型
  1.2 从数据管理角度看分布式系统
   1.2.1 数据管理系统的发展历程
   1.2.2 大数据背景下数据管理面临的挑战
   1.2.3 面向数据管理的分布式系统
  1.3 分布式计算系统
   1.3.1 分布式计算系统的概念
   1.3.2 系统生态圈
  1.4 本书组织结构
  本章小结
  习题
第2章 Hadoop 文件系统
  2.1 设计思想
  2.2 体系架构
   2.2.1 架构图
   2.2.2 应用程序执行流程
  2.3 工作原理
   2.3.1 文件分块与备份
   2.3.2 文件写入
   2.3.3 文件读取
   2.3.4 文件读写与一致性
  2.4 容错机制
   2.4.1 NameNode 故障
   2.4.2 DataNode 故障
  2.5 编程示例
   2.5.1 写文件
   2.5.2 读文件
  本章小结
  习题
第3章 批处理系统MapReduce
  3.1 设计思想
   3.1.1 MPI 与MapReduce
   3.1.2 数据模型
   3.1.3 计算模型
  3.2 体系架构
   3.2.1 架构图
   3.2.2 应用程序执行流程
  3.3 工作原理
   3.3.1 数据输入
   3.3.2 Map 阶段
   3.3.3 Shuffle 阶段
   3.3.4 Reduce 阶段
   3.3.5 数据输出
  3.4 容错机制
   3.4.1 JobTracker 故障
   3.4.2 TaskTracker 故障
   3.4.3 Task 故障
  3.5 编程示例
   3.5.1 词频统计
   3.5.2 关系表自然连接及其优化
   3.5.3 网页链接排名
   3.5.4 K 均值聚类
  本章小结
  习题
第4章 批处理系统Spark
  4.1 设计思想
   4.1.1 MapReduce 的局限性
   4.1.2 数据模型
   4.1.3 计算模型
  4.2 体系架构
   4.2.1 架构图
   4.2.2 应用程序执行流程
  4.3 工作原理
   4.3.1 Stage 划分
   4.3.2 Stage 内部的数据传输
   4.3.3 Stage 之间的数据传输
   4.3.4 应用与作业
  4.4 容错机制
   4.4.1 RDD 持久化
   4.4.2 故障恢复
   4.4.3 检查点
  4.5 编程示例
   4.5.1 词频统计
   4.5.2 关系表自然连接及其优化
   4.5.3 网页链接排名
   4.5.4 K 均值聚类
   4.5.5 检查点
  本章小结
  习题4
第5章 资源管理系统Yarn
  5.1 设计思想
   5.1.1 作业与资源管理
   5.1.2 平台与框架
  5.2 体系架构
   5.2.1 架构图
   5.2.2 应用程序执行流程
  5.3 工作原理
   5.3.1 单平台多框架
   5.3.2 平台资源分配
  5.4 容错机制
  5.5 典型示例
   5.5.1 Yarn 平台运行MapReduce 框架
   5.5.2 Yarn 平台运行Spark 框架
   5.5.3 Yarn 平台运行MapReduce 和Spark 框架
  本章小结
  习题5
*第6章 协调服务系统ZooKeeper
  6.1 设计思想
   6.1.1 数据模型
   6.1.2 操作原语
  6.2 体系架构
  6.3 工作原理
   6.3.1 领导者选举
   6.3.2 读写请求流程
  6.4 容错机制
  6.5 典型示例
   6.5.1 命名服务
   6.5.2 集群管理
   6.5.3 配置更新
   6.5.4 同步控制
  本章小结
  习题6
*第7章 流计算系统Storm
  7.1 设计思想
   7.1.1 连续处理
   7.1.2 数据模型
   7.1.3 计算模型
  7.2 体系架构
   7.2.1 架构图
   7.2.2 应用程序执行流程
  7.3 工作原理
   7.3.1 流数据分组策略
   7.3.2 元组传递方式
  7.4 容错机制
   7.4.1 容错语义
   7.4.2 元组树
   7.4.3 ACK 机制
   7.4.4 消息重放
  7.5 编程示例
   7.5.1 词频统计
   7.5.2 支持容错的词频统计
   7.5.3 简化的窗口操作
   7.5.4 异常检测
  本章小结
  习题7
*第8章 流计算系统Spark Streaming
  8.1 设计思想
   8.1.1 微批处理
   8.1.2 数据模型
   8.1.3 计算模型
  8.2 体系架构
   8.2.1 架构图
   8.2.2 应用程序执行流程
  8.3 工作原理
   8.3.1 数据输入
   8.3.2 数据转换
   8.3.3 数据输出
  8.4 容错机制
   8.4.1 基于RDD Lineage 的容错
   8.4.2 基于日志的容错
   8.4.3 基于检查点的容错
   8.4.4 端到端的容错语义
  8.5 编程示例
   8.5.1 按批词频统计
   8.5.2 全局词频统计
   8.5.3 窗口操作
   8.5.4 异常检测
  本章小结
  习题8
*第9章 批流融合基础
  9.1 批流融合的背景
   9.1.1 应用需求
   9.1.2 Lambda 架构及其局限性
  9.2 批处理与流计算的统一性
   9.2.1 有界数据集与无界数据集
   9.2.2 窗口操作
   9.2.3 时间域
  9.3 Dataflow 统一编程模型
   9.3.1 操作描述
   9.3.2 窗口定义
   9.3.3 触发器
   9.3.4 结果修正
  9.4 关系化Dataflow 编程模型
  9.5 一体化执行引擎
   9.5.1 以批处理为核心
   9.5.2 以流计算为核心
  本章小结
  习题9
第10章 批流融合系统Flink
  10.1 设计思想
   10.1.1 数据模型
   10.1.2 计算模型
   10.1.3 迭代模型
  10.2 体系架构
   10.2.1 架构图
   10.2.2 应用程序执行流程
  10.3 工作原理
   10.3.1 逻辑执行图的生成与优化
   10.3.2 物理执行图的生成与任务分配
   10.3.3 非迭代任务间的数据传输
   10.3.4 迭代任务间的数据传输
   *10.3.5 Dataflow 编程模型的实现
   *10.3.6 关系化Dataflow 编程模型的实现
  10.4 容错机制
   10.4.1 状态管理
   10.4.2 非迭代计算过程的容错
   10.4.3 迭代计算过程的容错
  10.5 编程示例
   10.5.1 词频统计
   10.5.2 斐波那契数列生成
   *10.5.3 整数求和
   10.5.4 支持容错的词频统计
  本章小结
  习题10
*第11章 图处理系统Giraph
  11.1 设计思想
   11.1.1 数据模型
   11.1.2 计算模型
   11.1.3 迭代模型
  11.2 体系架构
   11.2.1 架构图
   11.2.2 应用程序执行流程
  11.3 工作原理
   11.3.1 数据划分
   11.3.2 超步计算
   11.3.3 同步控制
  11.4 容错机制
   11.4.1 检查点
   11.4.2 故障恢复
  11.5 编程示例
   11.5.1 连通分量
   11.5.2 单源最短路径
   11.5.3 网页链接排名
   11.5.4 K 均值聚类
  本章小结
  习题11
参考文献

云计算是一种新兴的共享基础架构的方法，可以将巨大的系统池连接在一起以提供各种IT服务。云计算被视为“革命性的计算模型”，因为它通过互联网自由流通使超级计算能力成为可能。

本书基于作者团队多年的云计算从业及教学实践编写而成，系统地阐述了云计算、云原生等相关理论，主要内容包括云计算基础、云计算核心技术、云原生应用的开发、云服务的基础设施构建、云服务的编排与管理、云服务的运维、云计算进阶技术。

本书不仅适合作为计算机专业、数据专业、软件专业的课程教材，还可以作为企业专业人员、技术人员的参考资料。本书在附录中提供了实训所需要的相关资源，方便读者参考与使用。

前辅文
第1章 云计算基础
  1.1 初识云计算
   1.1.1 云计算的定义
   1.1.2 计算模式的演进过程
   1.1.3 云计算简史
   1.1.4 云计算的推动力
  1.2 云计算的公共特征与分类
   1.2.1 云计算的公共特征
   1.2.2 云计算的分类
   1.2.3 与云计算有关的技术
  1.3 云计算的三元认识论
   1.3.1 云计算作为一种商业模式
   1.3.2 云计算作为一种计算范式
   1.3.3 云计算作为一种实现方式
  1.4 云计算的开源方法论
   1.4.1 开源定义和相关概念
   1.4.2 开源的价值和意义
   1.4.3 开源发展历程
   1.4.4 开源是方法论
   1.4.5 开源给云计算人才培养带来的挑战
  1.5 实践：云计算的初步体验
   1.5.1 OpenStack 的架构与实践
   1.5.2 公有云服务实践基础
  本章小结
  习题与实践
第2章 云计算核心技术
  2.1 云计算的架构
   2.1.1 一般云计算架构的二维视角
   2.1.2 云栈和云体
  2.2 虚拟化技术
   2.2.1 虚拟化的定义
   2.2.2 服务器虚拟化
   2.2.3 新型硬件虚拟化
   2.2.4 轻量级虚拟化
  2.3 分布式存储
   2.3.1 分布式存储基础
   2.3.2 从单机存储系统到分布式存储系统
  2.4 网络虚拟化
   2.4.1 灵活控制：软件定义网络（SDN）
   2.4.2 快速部署：网络功能虚拟化（NFV）
  2.5 实践：体验云计算核心技术
   2.5.1 Docker 容器实践
   2.5.2 分布式存储系统Ceph
  本章小结
  习题与实践
第3章 云原生应用的开发
  3.1 云原生的相关概念
   3.1.1 云原生简介
   3.1.2 云原生的内容
   3.1.3 云原生应用的关键技术
  3.2 云原生应用开发的要素
  3.3 云原生应用开发
   3.3.1 云原生应用开发的原则
   3.3.2 云原生的落地：Kubernetes
  3.4 实践：云原生应用开发流程
   3.4.1 基于Git 与Gitee 的开放式协作
   3.4.2 基于Jenkins 体验自动化部署
  本章小结
  习题与实践
第4章 云服务的基础设施构建
  4.1 容器技术概述
   4.1.1 容器技术的发展
   4.1.2 容器背后的内核知识
  4.2 容器镜像
   4.2.1 镜像内部结构
   4.2.2 镜像构建
   4.2.3 镜像管理与分发
  4.3 容器网络
   4.3.1 Docker 网络模型
   4.3.2 容器间通信
   4.3.3 容器与外部世界通信
  4.4 容器存储
   4.4.1 容器存储基础
   4.4.2 容器数据共享
  4.5 超轻量级容器技术
   4.5.1 REG 整体设计
   4.5.2 REG 系统实现
   4.5.3 进一步讨论
  4.6 实践：Docker 容器网络实践
  本章小结
  习题与实践
第5章 云服务的编排与管理
  5.1 云服务的高可扩展设计
   5.1.1 弹性计算：云服务的高可扩展设计之道
   5.1.2 容器云的高可扩展
  5.2 容器的编排与管理技术
  5.3 Kubernetes 技术与最佳实践
   5.3.1 Kubernetes 概述
   5.3.2 Kubernetes 管理对象
   5.3.3 Kubernetes 服务
   5.3.4 Kubernetes 网络
   5.3.5 Kubernetes 存储
   5.3.6 Kubernetes 服务质量
   5.3.7 Kubernetes 资源调度
  5.4 实践：大规模容器的管理与调度
   5.4.1 Kubernetes 的安装与使用
   5.4.2 使用Kubernetes 部署服务
  本章小结
  习题与实践
第6章 云服务的运维
  6.1 云服务环境的监控
   6.1.1 云监控概述
   6.1.2 云监控特性
   6.1.3 云监控需求
   6.1.4 云监控结构
   6.1.5 关键技术
  6.2 云监控解决方案
   6.2.1 云监控的通用技术
   6.2.2 容器的监控
  6.3 智能运维
   6.3.1 智能运维的历史
   6.3.2 智能运维的内容
   6.3.3 AIOps 的关键场景与技术
   6.3.4 智能运维的展望
  6.4 智能运维在大视频运维中的应用
   6.4.1 背景介绍
   6.4.2 人工智能技术在大视频运维系统中的应用
  6.5 实践：云服务的运维
   6.5.1 Prometheus 监控数据采集与分析
   6.5.2 基于Alertmanager 的Kubernetes 集群监控告警
  本章小结
  习题与实践
第7章 云计算进阶技术
  7.1 云原生技术的发展
   7.1.1 云原生主要架构模式
   7.1.2 云原生架构趋势
   7.1.3 云原生安全
   7.1.4 云原生发展趋势
  7.2 云原生相关技术
   7.2.1 边缘计算
   7.2.2 服务网格
   7.2.3 可观测性技术
  7.3 实践：云原生进阶技术
   7.3.1 Istio 的部署与应用
   7.3.2 无服务器计算
   7.3.3 基于xAPI 的行为数据采集
  本章小结
  习题与实践
附录 UCloud 公有云实践

本书是大数据新兴领域“十四五”高等教育教材。本书展现了大语言模型技术的整体框架和路线图，内容讲解力求简明、准确、实用，旨在为相关行业提供大模型技术的中文参考资料，推动我国相关人工智能技术的发展。全书共13章，内容涉及大模型的背景与基础知识、预训练、微调与对齐、模型使用、评测与资源等，同时提供了相关代码示例与实验工具包。

本书可供具有深度学习基础的读者阅读与使用，既可作为高等学校人工智能、大数据、计算机类专业教材，也可作为相关从业与研究人员的参考用书。

前辅文
第一部分 背景与基础知识
  第1章 引言
   1.1 语言模型的发展历程
   1.2 大语言模型的能力特点
   1.3 大语言模型关键技术概览
   1.4 大语言模型对科技发展的影响
   1.5 本书的内容组织
   1.6 本书配套资源说明
  第2章 基础介绍
   2.1 大语言模型的构建过程
   2.2 扩展定律
   2.3 涌现能力
   2.4 GPT系列模型的技术演变
   习题
第二部分 预训练
  第3章 数据准备
   3.1 数据来源
   3.2 数据预处理
   3.3 词元化（分词）
   3.4 数据调度
   习题
  第4章 模型架构
   4.1 Transformer模型
   4.2 详细配置
   4.3 主流架构
   4.4 长上下文模型
   4.5 新型模型架构
   习题
  第5章 模型预训练
   5.1 预训练任务
   5.2 优化参数设置
   5.3 可扩展的训练技术
   5.4 模型参数量计算与效率分析
   5.5 预训练代码实践
   习题
第三部分 微调与对齐
  第6章 指令微调
   6.1 指令数据的构建
   6.2 指令微调的训练策略
   6.3 参数高效的模型微调
   6.4 代码实践与分析
   习题
  第7章 人类对齐
   7.1 人类对齐的背景与标准
   7.2 基于人类反馈的强化学习
   7.3 非强化学习的对齐方法
   7.4 关于SFT和RLHF的进一步讨论
   7.5 幻象
   习题
第四部分 模型使用
  第8章 解码与部署
   8.1 解码策略
   8.2 解码加速算法
   8.3 低资源部署策略
   8.4 其他模型压缩方法
   习题
  第9章 提示学习
   9.1 基础提示
   9.2 上下文学习
   9.3 思维链提示
   9.4 检索增强生成
   习题
  第10章 规划与智能体
   10.1 基于大语言模型的规划
   10.2 基于大语言模型的智能体
   习题
第五部分 评测与资源
  第11章 模型评测
   11.1 评测指标与评测方法
   11.2 基础能力评测
   11.3 高级能力评测
   11.4 公开综合评测体系
   习题
  第12章 模型资源
   12.1 公开可用的模型检查点
   12.2 常用的预训练数据集
   12.3 常用的微调数据集
   12.4 代码库资源
  第13章 总结
参考文献

本书是大数据新兴领域“十四五”高等教育教材。本书系统地介绍大数据涵盖的知识，包括数据与大数据、大数据获取、大数据管理、大数据处理、大数据分析、大数据安全、大数据治理等；同时介绍部分行业中大数据的典型应用案例，反映大数据在社会经济生活中的重要价值。本书旨在从技术层面，提供一本全面介绍大数据相关技术的专业教材。各章均设有习题。

本书既可作为高等学校大数据相关专业的教材使用，也可供大数据领域专业技术人员参考。

前辅文
第1章 引论
  引言
  1.1 大数据时代背景
   1.1.1 大数据的崛起
   1.1.2 大数据发展历程
   1.1.3 各国大数据的发展
  1.2 从数据到大数据
   1.2.1 数据
   1.2.2 大数据
   1.2.3 大数据分类
  1.3 大数据价值期望
   1.3.1 新型范式
   1.3.2 赋能价值
   1.3.3 数据要素化
   1.3.4 数据智能
  1.4 大数据理论技术
   1.4.1 数据科学
   1.4.2 大数据技术
  本章小结
  习题1
第2章 大数据获取
  引言
  2.1 分析数据来源，实现数据价值
   2.1.1 数据来源的多样化
   2.1.2 数据价值
  2.2 内部数据及获取方法
   2.2.1 内部数据概述
   2.2.2 内部数据获取
  2.3 外部数据及获取方法
   2.3.1 外部数据概述
   2.3.2 浅网数据获取方法
   2.3.3 深网数据获取方法
  本章小结
  习题2
第3章 大数据管理
  引言
  3.1 大数据管理概述
   3.1.1 数据管理系统发展历史
   3.1.2 大数据管理系统特征
  3.2 大数据模型与查询语言
   3.2.1 关系模型与查询语言
   3.2.2 键值对模型与查询语言
   3.2.3 列族模型与查询语言
   3.2.4 文档模型与查询语言
   3.2.5 图模型与查询语言
  3.3 大数据管理系统
   3.3.1 大数据管理系统层次结构
   3.3.2 大数据的组织与存取
   3.3.3 大数据系统容错与故障恢复
   3.3.4 NoSQL大数据管理系统
   3.3.5 NewSQL大数据管理系统
  本章小结
  习题3
第4章 大数据处理
  引言
  4.1 大数据处理生态系统
  4.2 典型大数据处理编程模型与框架
   4.2.1 批处理编程模型与框架
   4.2.2 流处理编程模型与框架
   4.2.3 图计算编程模型与框架
  4.3 新型大数据处理系统
   4.3.1 批流混合系统
   4.3.2 内存计算系统
  本章小结
  习题4
第5章 大数据分析
  引言
  5.1 大数据分析方法
   5.1.1 统计分析
   5.1.2 机器学习
   5.1.3 深度学习
   5.1.4 图结构挖掘与分析
  5.2 分布式大数据分析技术
   5.2.1 分布式学习
   5.2.2 联邦学习
  5.3 大数据分析平台
   5.3.1 机器学习大数据分析平台
   5.3.2 分布式大数据分析平台
   5.3.3 多源异构大数据分析平台
  5.4 数据可视化
   5.4.1 可视化定义
   5.4.2 数据可视化的发展
   5.4.3 数据可视化技术
   5.4.4 数据可视化工具及图形库
  本章小结
  习题5
第6章 大数据安全
  引言
  6.1 大数据安全概述
   6.1.1 大数据
   6.1.2 大数据安全
  6.2 数据安全基础
   6.2.1 密码学
   6.2.2 身份认证与访问控制
   6.2.3 通信安全与软件安全
  6.3 数据安全技术
   6.3.1 数据采集
   6.3.2 数据传输
   6.3.3 数据存储
   6.3.4 数据使用
   6.3.5 数据销毁
  6.4 数据共享和流通安全
   6.4.1 数据共享和流通概述
   6.4.2 数据匿名化技术
   6.4.3 同态加密技术
   6.4.4 安全多方计算
   6.4.5 机密计算
   6.4.6 联邦学习
   6.4.7 安全多方学习
  6.5 大数据系统平台安全
   6.5.1 认证与访问控制
   6.5.2 数据安全保护
   6.5.3 数据容灾与故障恢复
   6.5.4 安全运维与审计
  6.6 数据安全治理
   6.6.1 引言
   6.6.2 我国数据安全法律规范
   6.6.3 数据分类分级
   6.6.4 数据安全治理指南
   6.6.5 数据安全能力成熟度评估
  6.7 大数据安全展望
   6.7.1 大数据对抗
   6.7.2 大数据安全与大模型安全
  本章小结
  习题6
第7章 大数据治理
  引言
  7.1 大数据治理概述
   7.1.1 大数据治理的概念体系
   7.1.2 大数据治理的技术体系
   7.1.3 大数据治理的应用
  7.2 元数据管理
   7.2.1 元数据概述
   7.2.2 元数据管理方案
   7.2.3 元数据管理的应用
  7.3 主数据管理
   7.3.1 主数据概述
   7.3.2 主数据管理方案
   7.3.3 主数据管理的应用
  7.4 数据质量管理
   7.4.1 数据质量概述
   7.4.2 数据质量管理技术
   7.4.3 数据质量管理框架
   7.4.4 数据质量管理的应用
  7.5 数据集成
   7.5.1 数据集成概述
   7.5.2 传统数据集成技术
   7.5.3 跨界数据集成技术
   7.5.4 数据集成的应用
  7.6 数据标准化
   7.6.1 数据标准概述
   7.6.2 数据标准管理
   7.6.3 数据标准化的应用
  本章小结
  习题7
第8章 大数据案例
  引言
  8.1 网页重要性排序
   8.1.1 案例背景
   8.1.2 PageRank算法概述
   8.1.3 使用Spark实现PageRank算法
   8.1.4 使用MapReduce实现PageRank算法
   8.1.5 小结
  8.2 贷款违约预测
   8.2.1 案例背景
   8.2.2 数据探索
   8.2.3 数据预处理
   8.2.4 特征工程
   8.2.5 模型训练
   8.2.6 模型评估
   8.2.7 小结
  8.3 自动驾驶
   8.3.1 案例背景
   8.3.2 感知识别
   8.3.3 决策规划
   8.3.4 控制执行
   8.3.5 小结
  8.4 大数据智能案例
   8.4.1 案例背景
   8.4.2 预训练模型
   8.4.3 数据集构造
   8.4.4 模型微调
   8.4.5 效果展示和评估
   8.4.6 小结
  本章小结
  习题8
参考文献

本书是数据科学与工程专业核心教材之一，内容涉及区块链系统的存储、执行、共识、查询、隐私保护等核心技术，旨在帮助读者快速建立理解、使用和研发区块链系统所必备的知识体系——从比特币、以太坊和超级账本Fabric等主流开源区块链架构出发，延伸至基于平台的上层分布式应用开发实践，再到系统底层所涉及的核心理论和关键技术。结合具体实操系统，从感性到理性，由表及里，循序渐进；并在讲解原理的同时，突出其在真实系统中的实现和运行机制，形成从理论到实践、再从实践上升到理论的闭环。

本书为新形态教材，提供配套的讲义、代码、习题及参考答案等数字资源，内容直观翔实，便于教师授课与读者学习。本书适用于学生、计算机领域科研人员和从业人员，以及其他对区块链感兴趣的读者，可作为本科生和研究生学习区块链技术的教材，也可作为从事相关研究、工作的人员以及各类自学人员的学习资源。

前辅文
第1章　数字货币与区块链
  1.1　数字货币
   1.1.1　传统货币
   1.1.2　比特币
  1.2　区块链
   1.2.1　定义
   1.2.2　基本原理
   1.2.3　主要特征
   1.2.4　基本类型
  1.3　技术发展
   1.3.1　区块链系统架构
   1.3.2　关键技术
  1.4　区块链的意义
   1.4.1　区块链技术的应用情况
   1.4.2　区块链与前沿技术
  本章小结
  习题1
  参考文献
第2章　典型的区块链系统
  2.1　以太坊
   2.1.1　以太坊历史
   2.1.2　以太坊概述
   2.1.3　以太坊框架
   2.1.4　核心概念
   2.1.5　智能合约
   2.1.6　挖矿
   2.1.7　以太坊状态转换
   2.1.8　以太坊数据结构
  2.2　超级账本
   2.2.1　项目简介
   2.2.2　Fabric简介
   2.2.3　Fabric框架
   2.2.4　核心概念
   2.2.5　交易流程
   2.2.6　权限管理与策略
   2.2.7　区块链数据结构
  本章小结
  习题2
  参考文献
第3章　密码学基础
  3.1　哈希技术
   3.1.1　定义
   3.1.2　常见算法
   3.1.3　区块链中的应用
  3.2　加解密算法
   3.2.1　基本概念
   3.2.2　对称加密算法
   3.2.3　非对称加密算法
   3.2.4　混合加密机制
  3.3　椭圆曲线加密算法
   3.3.1　椭圆曲线
   3.3.2　有限域上的椭圆曲线
   3.3.3　椭圆曲线运算
   3.3.4　加密算法
   3.3.5　Diffie-Hellman密钥交换
  3.4　数字签名
   3.4.1　基本签名算法
   3.4.2　签名分类
  3.5　数字证书
  3.6　国密算法
  本章小结
  习题3
  参考文献
第4章　智能合约
  4.1　智能合约简介
   4.1.1　确定性
   4.1.2　可终止性
   4.1.3　智能合约分类
  4.2　比特币智能合约
   4.2.1　P2PKH
   4.2.2　P2PK
   4.2.3　P2SH
   4.2.4　多重签名
   4.2.5　OP_RETURN
  4.3　以太坊智能合约
   4.3.1　合约账户
   4.3.2　合约代码
   4.3.3　合约开发
   4.3.4　合约的生命周期管理
  4.4　Fabric智能合约
   4.4.1　链码概述
   4.4.2　系统链码
   4.4.3　系统链码插件
   4.4.4　用户链码
   4.4.5　链码管理
  4.5　智能合约模型的优化
   4.5.1　“共识-执行”智能合约模型的优化
   4.5.2　“执行-共识-验证”智能合约模型的优化
  本章小结
  习题4
  参考文献
第5章　共识算法
  5.1　共识算法简介
  5.2　区块链分布式系统概述
   5.2.1　一致性问题
   5.2.2　可靠性问题
   5.2.3　分布式系统特性
  5.3　共识算法
   5.3.1　共识
   5.3.2　故障容错
   5.3.3　共识的不可能性
   5.3.4　CAP原理
   5.3.5　ACID原则
   5.3.6　BASE原则
  5.4　Paxos
   5.4.1　算法概述
   5.4.2　算法描述
   5.4.3　算法分析
   5.4.4　运行模式
   5.4.5　算法改进
  5.5　Raft
   5.5.1　算法概述
   5.5.2　算法描述
   5.5.3　算法分析
   5.5.4　与Paxos比较
   5.5.5　算法改进
  5.6　PoW
   5.6.1　算法概述
   5.6.2　哈希难题
   5.6.3　挖矿
   5.6.4　PoW变种
   5.6.5　双重花费攻击问题
  5.7　PoS
   5.7.1　算法概述
   5.7.2　算法优势
   5.7.3　算法解决的安全问题
   5.7.4　算法实现
   5.7.5　DPoS
  5.8　PBFT
   5.8.1　算法概述
   5.8.2　算法描述
   5.8.3　算法分析
  5.9　DAG
   5.9.1　DAG简介
   5.9.2　DAG共识
   5.9.3　PHANTOM
   5.9.4　基于DAG的区块链系统
  5.10　以太坊中的共识
   5.10.1　DaggerHashimoto算法
   5.10.2　Ethash DAG
   5.10.3　Ethash挖矿过程
   5.10.4　Ethash工作量验证
   5.10.5　以太坊的PoS算法
  5.11　Fabric中的共识
   5.11.1　交易提案排序
   5.11.2　共识区块传播
  本章小结
  习题5
  参考文献
第6章　数据结构及存储
  6.1　区块存储
   6.1.1　区块链的逻辑结构
   6.1.2　物理存储
   6.1.3　转换层
  6.2　状态存储
   6.2.1　UTXO模型
   6.2.2　KV模型
   6.2.3　账户模型
   6.2.4　数据存储
  6.3　MPT
   6.3.1　检索树
   6.3.2　Patricia检索树
   6.3.3　Merkle树
   6.3.4　MPT
  6.4　数据验证结构
   6.4.1　节点间的数据传输验证
   6.4.2　区块数据验证
   6.4.3　交易验证
   6.4.4　交易存在性验证
  6.5　以太坊
   6.5.1　RLP编码
   6.5.2　区块链
   6.5.3　区块
   6.5.4　物理存储
   6.5.5　StateDB
  6.6　Fabric
   6.6.1　账本逻辑结构
   6.6.2　物理存储
  本章小结
  习题6
  参考文献
第7章　网络层实现
  7.1　P2P
   7.1.1　P2P概述
   7.1.2　P2P体系结构
   7.1.3　P2P安全性
   7.1.4　P2P应用
   7.1.5　P2P与区块链
  7.2　Gossip协议
   7.2.1　协议类型
   7.2.2　通信方式
   7.2.3　协调机制
   7.2.4　协议优势
   7.2.5　协议缺陷
   7.2.6　比特币的P2P实现
   7.2.7　Fabric的P2P实现
  7.3　Kademlia协议
   7.3.1　路由表
   7.3.2　协议操作类型
   7.3.3　路由查找
   7.3.4　节点的加入和更新
   7.3.5　以太坊的P2P实现
   7.3.6　比特币、Fabric、以太坊P2P分析对比
  7.4　中心化区块链的实现方式
  本章小结
  习题7
  参考文献
第8章　区块链安全
  8.1　存储层安全性分析
   8.1.1　基础设施风险
   8.1.2　数据的隐私保护
   8.1.3　内容安全分析
   8.1.4　数据的稳定增长
  8.2　协议层安全性分析
   8.2.1　P2P安全性分析
   8.2.2　密码学机制安全性分析
   8.2.3　共识机制安全性分析
  8.3　扩展层安全性分析
   8.3.1　合约虚拟机攻击
   8.3.2　智能合约攻击
   8.3.3　风险应对策略
  8.4　应用层安全性分析
   8.4.1　应用软件漏洞
   8.4.2　外部数据源调用问题
   8.4.3　环境漏洞
  本章小结
  习题8
  参考文献
第9章　区块链技术的发展
  9.1　区块链技术概述
  9.2　分片技术
   9.2.1　分片技术概述
   9.2.2　分片必要性
   9.2.3　分片技术要点
   9.2.4　分片安全性
   9.2.5　MultiVAC分片
  9.3　隐私保护
   9.3.1　零知识证明
   9.3.2　零知识证明在区块链中的应用
  9.4　激励机制
   9.4.1　目的
   9.4.2　奖励
   9.4.3　惩罚
   9.4.4　实现机制
  9.5　跨链技术
   9.5.1　跨链机制
   9.5.2　公证人机制
   9.5.3　哈希锁定
   9.5.4　侧链
   9.5.5　中继链
   9.5.6　跨链难点
  9.6　数据管理
   9.6.1　数据管理概述
   9.6.2　数据存储
   9.6.3　数据查询
  本章小结
  习题9
  参考文献
第10章　区块链系统研发
  10.1　Fabric案例开发
   10.1.1　系统功能和架构
   10.1.2　系统分析
   10.1.3　系统实现
   10.1.4　系统运行
  10.2　Fabric的部署和使用
   10.2.1　环境准备
   10.2.2　dockercompose配置文件准备
   10.2.3　启动Fabric
   10.2.4　可能出现的问题
  10.3　以太坊案例开发
   10.3.1　系统功能和架构
   10.3.2　系统分析
   10.3.3　系统实现
   10.3.4　系统运行
  10.4　以太坊的部署和使用
   10.4.1　安装以太坊客户端
   10.4.2　配置初始状态
   10.4.3　初始化
   10.4.4　启动私有节点
   10.4.5　控制台操作
   10.4.6　控制台操作举例
   10.4.7　连接到其他节点
  10.5　区块链的应用
   10.5.1　区块链在匿名投票中的应用
   10.5.2　区块链在政府监管中的应用
   10.5.3　区块链在金融对账中的应用
   10.5.4　区块链在版权保护中的应用
   10.5.5　区块链在食品供应链中的应用
  本章小结
  习题10
  参考文献

本书从概率统计、线性代数和组合优化角度出发, 介绍经典的数据科学与工程算法, 内容涉及数据分析处理全流程的算法及其数学基础, 主要包括抽样算法; 尾概率不等式及其应用; 典型的哈希技术, 如布隆过滤器和局部敏感哈希; 数据流模型以及典型 Misra Gries 算法、Count Sketch 算法; 随机游走及其应用; EM 算法; 特征值计算; 奇异值分解和主成分分析;矩阵分解; 整数规划; 子模函数及其应用; 模块度及社区发现等。全书配有大量翔实的应用实例可供参考, 有相当数量的习题可供读者练习。

本书可作为数据科学与大数据技术专业本科生、研究生相关课程的教材或参考书, 也可供相关领域技术人员参考。

前辅文
第1 章绪论
  1.1 数据分析处理阶段
   1.1.1 数据采集
   1.1.2 数据预处理
   1.1.3 数据存储与管理
   1.1.4 数据分析与挖掘
   1.1.5 数据可视化
  1.2 算法设计原则
   1.2.1 数据特点
   1.2.2 算法评价
   1.2.3 算法设计原则
  本章小结
  习题
第2 章抽样算法
  2.1 引入
  2.2 基本概念
   2.2.1 总体与样本
   2.2.2 抽样调查
  2.3 系统抽样
   2.3.1 直线等距抽样
   2.3.2 圆形等距抽样
   2.3.3 系统抽样特点
  2.4 分层抽样
  2.5 水库抽样
   2.5.1 水库抽样算法
   2.5.2 算法分析
   2.5.3 分布式水库抽样算法
  本章小结
  习题
第3 章尾概率不等式及其应用
  3.1 引入
  3.2 Markov 不等式
  3.3 Chebyshev 不等式
  3.4 Chernoff 不等式
  3.5 尾概率不等式的应用—— Morris 算法
   3.5.1 Morris 算法
   3.5.2 Morris+ 算法
   3.5.3 Morris++ 算法
  本章小结
  习题
第4 章哈希技术
  4.1 引入
  4.2 哈希
  4.3 布隆过滤器
   4.3.1 布隆过滤器的基本原理
   4.3.2 误判率
   4.3.3 降低误判率
   4.3.4 应用场景
  4.4 局部敏感哈希
   4.4.1 哈希函数的选择
   4.4.2 Shingling
   4.4.3 Min-Hashing
   4.4.4 基于Min-Hashing的局部敏感哈希过程
   4.4.5 应用场景
  本章小结
  习题
第5 章数据流模型及频繁项挖掘
  5.1 引入
  5.2 数据流模型
   5.2.1 数据流和数据流模型
   5.2.2 数据流子模型
   5.2.3 概要数据结构
   5.2.4 近似算法
  5.3 频繁项挖掘
  5.4 确定性近似频数算法Misra Gries
   5.4.1 Misra Gries 算法
   5.4.2 Misra Gries 算法分析
  5.5 随机近似频数算法Count Sketch
   5.5.1 简单抽样算法
   5.5.2 Basic Count Sketch算法
   5.5.3 Count Sketch 算法
   5.5.4 Count-Min Sketch算法
  本章小结
  习题
第6 章EM 算法
  6.1 引入
  6.2 最大似然估计方法
   6.2.1 似然函数
   6.2.2 最大似然估计
   6.2.3 混合模型
  6.3 EM 算法
   6.3.1 算法推导
   6.3.2 EM 算法
   6.3.3 EM 算法的收敛性
  本章小结
  习题
第7 章随机游走及其应用
  7.1 引入
  7.2 随机过程
   7.2.1 马尔可夫过程
   7.2.2 随机游走
   7.2.3 转移概率矩阵
   7.2.4 平稳分布
  7.3 PageRank
   7.3.1 PageRank 问题定义与基本假设
   7.3.2 PageRank 值的计算方法
   7.3.3 PageRank 算法的改进
   7.3.4 算法收敛性分析
  本章小结
  习题
第8 章特征值计算
  8.1 算法引入
  8.2 方阵的特征值与特征向量
  8.3 幂法
   8.3.1 幂法
   8.3.2 幂法改进
  8.4 反幂法
  8.5 瑞利商迭代法
   8.5.1 瑞利商定义
   8.5.2 瑞利商迭代法
   8.5.3 降阶技术
  本章小结
  习题
第9 章奇异值分解与主成分分析
  9.1 引入
  9.2 对角化与特征值分解
  9.3 奇异值分解
   9.3.1 奇异值
   9.3.2 奇异值分解
   9.3.3 奇异值分解的应用
  9.4 主成分分析
   9.4.1 协方差
   9.4.2 协方差矩阵
   9.4.3 主成分分析
   9.4.4 PCA 的应用
  本章小结
  习题
第10 章矩阵分解
  10.1 引入
  10.2 问题定义
   10.2.1 损失函数
   10.2.2 代价函数
  10.3 梯度下降算法
   10.3.1 凸函数及其极小值
   10.3.2 梯度下降算法
   10.3.3 随机梯度下降算法
   10.3.4 小批量梯度下降算法
  10.4 基于梯度下降的矩阵分解
   10.4.1 矩阵分解算法
   10.4.2 正则化
   10.4.3 矩阵分解算法变体
   10.4.4 矩阵分解的应用
  10.5 非负矩阵分解
   10.5.1 非负矩阵分解算法
   10.5.2 非负矩阵分解的应用
  本章小结
  习题10
第11 章整数规划
  11.1 引入
  11.2 整数规划
   11.2.1 表示约束
   11.2.2 可行域
  11.3 分支定界法
   11.3.1 枚举树
   11.3.2 松弛和定界
   11.3.3 分支定界算法
   11.3.4 分支定界算法的例子
  11.4 割平面法
   11.4.1 有效不等式
   11.4.2 割平面法
  本章小结
  习题11
第12 章子模函数及其应用
  12.1 引入
  12.2 子模函数及其性质
   12.2.1 子模函数
   12.2.2 子模函数的性质
  12.3 集合覆盖
   12.3.1 问题定义
   12.3.2 抽取式文本摘要
   12.3.3 集合覆盖问题满足子模条件
  12.4 爬山算法
  本章小结
  习题12
第13 章模块度及社区发现
  13.1 引入
  13.2 图模型
   13.2.1 随机图
   13.2.2 NULL 模型
   13.2.3 无标度图
  13.3 模块度
   13.3.1 模块度的定义
   13.3.2 模块度的计算性质
   13.3.3 权重图的模块度定义
   13.3.4 有向图