10.1 SparkSession

在老的版本中,SparkSQL 提供两种 SQL 查询起始点:一个叫SQLContext,用于Spark 自己提供的 SQL 查询;一个叫 HiveContext,用于连接 Hive 的查询。

从2.0开始, SparkSession是 Spark 最新的 SQL 查询起始点,实质上是SQLContextHiveContext的组合,所以在SQLContextHiveContext上可用的 API 在SparkSession上同样是可以使用的。

SparkSession内部封装了SparkContext,所以计算实际上是由SparkContext完成的。


当我们使用 spark-shell 的时候, spark 会自动的创建一个叫做sparkSparkSession, 就像我们以前可以自动获取到一个sc来表示SparkContext

Copyright © 尚硅谷大数据 2019 all right reserved,powered by Gitbook
该文件最后修订时间: 2019-08-09 00:21:43

results matching ""

    No results matching ""