联系我们
bigdata_spark_kernel&optimize_atguigu
第 1 部分: Spark 内核
第 1 章 Spark 内核概述
1.1 Spark 核心组件回顾
1.2 Spark 通用运行流程概述
第 2 章 Spark 通讯架构
2.1 Spark 通讯架构概述
2.2 Spark 通信架构解析
2.3 Spark 启动流程分析
2.3.1 Master 启动源码分析
2.3.2 Worker 启动源码分析
第 3 章 Spark 部署模式
3.1 Yarn 模式运行机制
1. Yarn cluster 模式运行机制源码分析
2. Yarn client 模式运行机制源码分析
3.2 Standalone 模式运行机制
第 4 章 Spark 任务调度机制
4.1 Spark 任务调度概述
4.2 Spark Stage 级别调度
4.3 Spark Task 级别调度
4.3.1 调度策略
4.3.2 本地化调度
4.3.3 失败重试和黑名单
4.4 Stage 级别任务调度源码分析
4.5 Task 级别任务调度源码分析
第 5 章 Spark Shuffle 解析
5.1 Shuffle 的核心要点
5.2 HashShuffle 解析
5.3 SortShuffle 解析
SortShuffle 源码解析
第 6 章 Spark 内存管理
6.1 堆内核堆外内存规划
6.2 内存空间分配
6.3 存储内存管理
6.4 执行内存管理
第 2 部分: Spark 性能优化和故障处理
第 7 章 Spark 性能优化
7.1 常规性能调优
7.2 算子调优
7.3 Shuffle 调优
7.4 JVM 调优
第 8 章 Spark 数据倾斜解决方案
第 9 章 Spark Troubleshooting
Powered by
GitBook
第 2 章 Spark 通讯架构
第 2 章 Spark 通讯架构
results matching "
"
No results matching "
"