3.dataframe使用1
需积分: 0 113 浏览量
2022-08-03
13:45:38
上传
评论
收藏 1.54MB PDF 举报
2022/4/27 03_dataframe
huaxiaozhuan.com/工具/spark/chapters/03_dataframe.html 1/38
Spark SQL
一、概述
1.
spark sql
是用于操作结构化数据的程序包
通过 spark sql
，可以使用 SQL
或者
HQL
来查询数据，查询结果以 Dataset/DataFrame
的形式返回
它支持多种数据源，如 Hive
表、 Parquet
以及
JSON
等
它支持开发者将 SQL
和传统的 RDD
变成相结合
2.
Dataset ：是一个分布式的数据集合
它是 Spark 1.6
中被添加的新接口
它提供了 RDD 的优点与 Spark SQL
执行引擎的优点
它在 Scala
和 Java
中是可用的。 Python
不支持 Dataset API 。但是由于 Python
的动态特性，许
多 DataSet API
的优点已经可用
3.
DataFrame ：是一个 Dataset
组成的指定列。
它的概念等价于一个关系型数据库中的表
在 Scala/Python
中， DataFrame
由 DataSet
中的
RowS
(
多个 Row
)
来表示。
4.
在 spark 2.0
之后， SQLContext
被
SparkSession
取代。
二、
SparkSession
1.
spark sql
中所有功能的入口点是 SparkSession
类。它可以用于创建 DataFrame 、注册 DataFrame 为
table 、在 table
上执行 SQL 、缓存 table 、读写文件等等。
2.
要创建一个 SparkSession ，仅仅使用 SparkSession.builder
即可：
3.
Builder
用于创建 SparkSession ，它的方法有（这些方法都返回 self
）：
.appName(name) ：给程序设定一个名字，用于在 Spark web UI
中展示。如果未指定，则 spark
会随
机生成一个。
name ：一个字符串，表示程序的名字
.config(key=None,value=None,conf=None) ：配置程序。这里设定的配置会直接传递给 SparkConf
和
SparkSession 各自的配置。
key ：一个字符串，表示配置名
value ：对应配置的值
conf ：一个 SparkConf
实例
有两种设置方式：
from pyspark.sql import SparkSession
spark_session = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
剩余37页未读，继续阅读
评论0