Alluxio 大数据统一存储原理与实践【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

Alluxio 大数据统一存储原理与实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Alluxio系统快速入门1

1.1 Alluxio背景概述1

1.1.1 Alluxio系统功能简介4

1.1.2 Alluxio项目发展历史5

1.2 获取/编译Alluxio软件6

1.2.1 下载预编译的Alluxio可执行包6

1.2.2 编译Alluxio源代码6

1.3 Alluxio的搭建部署及程序运行10

1.3.1 单机模式10

1.3.2 集群模式13

1.3.3 高可用集群模式16

第2章 Alluxio系统架构及读写工作机制22

2.1 Alluxio的构架简介与基本特征22

2.1.1 提升远程存储读写性能23

2.1.2 统一持久化数据访问接口24

2.1.3 数据的快速复用和共享26

2.2 Alluxio的系统功能组件27

2.2.1 Alluxio Master组件27

2.2.2 Alluxio Worker组件29

2.2.3 Alluxio Client组件30

2.3 Alluxio读写场景的行为分析31

2.3.1 Alluxio的读场景数据流31

2.3.2 Alluxio的写场景数据流37

第3章 Alluxio与底层存储系统的集成40

3.1 配置HDFS作为Alluxio底层存储40

3.1.1 准备步骤与基本配置流程41

3.1.2 高级参数配置43

3.1.3 使用HDFS在本地运行Alluxio44

3.2 配置Secure HDFS作为Alluxio底层存储44

3.2.1 准备步骤与基本配置流程45

3.2.2 使用安全认证模式HDFS在本地运行Alluxio46

3.3 配置AWS S3作为Alluxio底层存储47

3.3.1 准备步骤与基本配置流程47

3.3.2 高级参数配置49

3.3.3 使用S3在本地运行Alluxio51

3.4 配置Google GCS作为Alluxio底层存储52

3.4.1 准备步骤与基本配置流程52

3.4.2 高级参数配置53

3.4.3 使用GCS本地运行Alluxio54

3.5 配置Azure BLOB Store作为Alluxio底层存储系统55

3.5.1 准备步骤与基本配置流程55

3.5.2 使用Azure BLOB Store本地运行Alluxio57

第4章 Alluxio与上层计算框架的集成58

4.1 Alluxio的管理员操作命令58

4.1.1 操作命令列表59

4.1.2 操作命令示例59

4.2 Alluxio的用户操作命令61

4.2.1 操作命令列表62

4.2.2 操作命令示例65

4.3 Alluxio与Hadoop操作命令行的集成78

4.3.1 前期准备与配置78

4.3.2 具体使用示例79

4.4 Alluxio与Hadoop MapReduce的集成79

4.4.1 前期准备与配置80

4.4.2 具体使用示例82

4.5 Alluxio与Spark的集成83

4.5.1 前期准备与配置83

4.5.2 使用Alluxio作为输入/输出源85

4.5.3 Alluxio与Spark集成常见问题分析与解决86

4.6 Alluxio与Hive的集成89

4.6.1 安装并配置Hive环境89

4.6.2 使用Alluxio存储部分Hive表90

4.6.3 使用Alluxio作为默认文件系统（存储全部数据）93

4.6.4 检查Hive和Alluxio的集成情况（支持Hive 2.x）95

4.7 Alluxio与Presto的集成96

4.7.1 前期准备96

4.7.2 部署分发Alluxio客户端jar包98

4.7.3 Presto操作命令示例98

4.8 Alluxio与TensorFlow的集成100

4.8.1 深度学习面临的数据挑战100

4.8.2 基于Alluxio解决深度学习存储问题的分析101

4.8.3 安装并配置Alluxio FUSE102

4.8.4 TensorFlow使用Alluxio FUSE管理访问数据103

第5章 Alluxio基本功能的介绍与使用105

5.1 Alluxio系统环境与属性的配置105

5.1.1 Alluxio系统组件参数的配置106

5.1.2 Alluxio客户端组件参数的配置109

5.1.3 Alluxio参数配置的相关工具112

5.2 Alluxio底层文件系统的配置与管理113

5.2.1 Alluxio挂载底层存储113

5.2.2 Alluxio与底层存储的元数据一致性保证116

5.3 Alluxio缓存资源的配置与管理120

5.3.1 配置Alluxio缓存存储资源121

5.3.2 Alluxio缓存数据的载入、驻留及释放126

5.3.3 配置Alluxio缓存数据的生存时间127

5.4 Alluxio系统Web用户界面的查看与使用128

5.4.1 Alluxio Master Web界面介绍128

5.4.2 Alluxio Worker Web界面介绍134

第6章 Alluxio高级功能的介绍与使用137

6.1 Alluxio的安全认证与权限控制137

6.1.1 Alluxio安全认证模式的介绍138

6.1.2 Alluxio访问权限控制的介绍139

6.1.3 Alluxio用户模拟功能的介绍141

6.1.4 Alluxio审计日志功能的介绍142

6.2 Alluxio的内置Metrics系统143

6.3 Alluxio文件系统日志的使用与维护145

6.4 Alluxio系统的异常排查148

第7章 Alluxio的应用案例与生产实践152

7.1 陌陌基于Alluxio加速Spark SQL查询152

7.1.1 Alluxio缓存应用背景简介153

7.1.2 陌陌应用场景结合Alluxio的分析153

7.1.3 基于Alluxio的陌陌Ad Hoc查询系统架构155

7.1.4 基于Alluxio的查询性能评估与分析156

7.1.5 陌陌在Alluxio实战方面的后续实践158

7.2 京东基于Alluxio和Presto构建交互式查询引擎158

7.2.1 京东大数据平台的业务问题背景159

7.2.2 JDPresto on Alluxio架构与特性的介绍160

7.2.3 JDPresto on Alluxio的性能评估与分析161

7.2.4 JDPresto on Alluxio的应用总结164

7.3 Alluxio在携程实时计算平台中的应用与实践165

7.3.1 携程实时计算的应用背景165

7.3.2 基于Alluxio的跨集群数据共享方案与性能评估168

7.4 去哪儿网利用Alluxio提升异地存储访问性能169

7.4.1 去哪儿网流式处理背景简介170

7.4.2 原有系统架构及相关问题分析171

7.4.3 基于Alluxio改进后的系统架构介绍与性能评估172

7.5 百度基于Alluxio加速远程数据读取176

7.5.1 百度跨机房数据查询问题的描述177

7.5.2 使用Alluxio缓存远端数据的方案与效果177

7.5.3 使用Alluxio分层存储的方案与效果178

7.5.4 基于Alluxio提速远程数据访问的总结180

第8章 Alluxio的开源社区开发者指南181

8.1 Alluxio的源代码规范181

8.1.1 源代码风格要求182

8.1.2 Alluxio的单元测试184

8.1.3 Alluxio的日志系统184

8.1.4 Alluxio的RPC定义186

8.1.5 Alluxio文件系统日志消息186

8.2 Alluxio的单元测试流程介绍187

8.2.1 运行Alluxio单元测试187

8.2.2 创建Alluxio单元测试188

8.2.3 单元测试需要避免的情况190

8.2.4 Alluxio单元测试的全局状态管理191

8.3 贡献源代码至Alluxio开源社区193

8.3.1 开发者的系统要求和环境准备194

8.3.2 下载Alluxio源代码并配置开发者邮箱194

8.3.3 编译Alluxio源代码195

8.3.4 领取一个开发者新手任务196

8.3.5 在本地副本中创建一个新的开发分支196

8.3.6 提交本地的commit197

8.3.7 提交一个社区Pull Request198

8.3.8 审阅社区Pull Request199