Spark SQL大数据分析快速上手电子书

主要作者简介

内容简介

前言

关于本书

本书特点

配套资源下载与答疑服务

本书读者

第1章 Spark SQL概述

1.1 Spark SQL简介

1.1.1 什么是Spark SQL

1.1.2 Spark SQL的特点

1.2 Spark数据容器

1.2.1 什么是DataFrame

1.2.2 什么是DataSet

1.2.3 Spark SQL与DataFrame

1.2.4 DataFrame与RDD的差异

第2章 Spark概述及环境搭建

2.1 Spark概述

2.1.1 关于Spark

2.1.2 Spark的基本概念

2.1.3 Spark集群相关知识

2.2 Linux环境搭建

2.2.1 VirtualBox虚拟机的安装

2.2.2 安装Linux操作系统

2.2.3 SSH工具与使用

2.2.4 Linux的统一设置

2.3 Hadoop完全分布式环境搭建

2.4 Spark的安装与配置

2.4.1 本地模式安装

2.4.2 伪分布模式安装

2.4.3 完全分布模式安装

2.4.4 Spark on YARN

2.5 Spark的任务提交

2.5.1 使用spark-submit提交

2.5.2 spark-submit参数说明

第3章 Spark的典型数据结构RDD

3.1 什么是RDD

3.2 RDD的主要属性

3.3 RDD的特点

3.4 RDD的创建与处理过程

3.4.1 RDD的创建

3.4.2 RDD的处理过程

3.4.3 RDD的算子

第4章 Spark SQL入门实战

4.1 DataFrame和DataSet实战体验

4.1.1 SparkSession

4.1.2 DataFrame应用

4.1.3 DataSet应用

4.1.4 DataFrame和DataSet之间的交互

4.2 Scala开发环境搭建及其基础编程

4.2.1 开发环境搭建

4.2.2 Scala基础编程

4.3 Spark SQL实战入门体验

第5章 Spark SQL语法基础及应用

5.1 Hive安装与元数据存储配置

5.1.1 安装Hive

5.1.2 配置MySQL存储元数据

5.2 Spark SQL DML语句

5.2.1 插入数据

5.2.2 加载数据

5.3 Spark SQL查询语句

5.4 Spark SQL函数操作

5.4.1 内置函数及使用

5.4.2 自定义函数

第6章 Spark SQL数据源

6.1 Spark SQL数据加载、存储概述

6.1.1 通用load/save函数

6.1.2 手动指定选项

6.1.3 在文件上直接进行SQL查询

6.1.4 存储模式

6.1.5 持久化到表

6.1.6 桶、排序、分区操作

6.2 Spark SQL常见结构化数据源

6.2.1 Parquet文件

6.2.2 JSON数据集

6.2.3 Hive表

6.2.4 其他关系数据库中的数据表

第7章 Spark SQL性能调优

7.1 Spark执行流程

7.2 Spark内存管理

7.3 Spark的一些概念

7.4 Spark开发原则

7.5 Spark调优方法

7.6 数据倾斜调优

7.7 Spark执行引擎Tungsten简介

7.8 Spark SQL解析引擎Catalyst简介

第8章 Spark SQL影评大数据分析项目实战

8.1 项目介绍

8.2 项目实现

8.2.1 引入依赖

8.2.2 公共类开发

8.2.3 需求1的实现

8.2.4 需求2的实现

8.2.5 需求3的实现

第9章 Spark SQL商品统计分析项目实战

9.1 项目介绍

9.2 项目实现

9.2.1 引入依赖

9.2.2 环境测试

9.2.3 Spark SQL初始化数据

9.2.4 Spark SQL商品数据分析

第10章 Spark SQL咖啡销售数据分析项目实战

10.1 项目介绍

10.2 数据预处理与数据分析

10.2.1 查看咖啡销售量排名

10.2.2 观察咖啡销售量的分布情况

10.3 数据可视化