SparkSql和DataFrame实战.docx
需积分: 28 60 浏览量
2018-06-01
09:23:25
上传
评论 1
收藏 908KB DOCX 举报
SparkSql 和 DataFrame 实战
一、 简介
1. 什么是 Spark SQL
Spark SQL 的 一 个用 途 是 执 行 使 用 基 本 SQL 语 法或 HiveQL 编 写的 SQL 查 询 。
Spark SQL 还可以用于从现有的 Hive 安装中读取数据。有关如何配置此功能的更多信息，
请参考 Hive 表格部分。当从另一种编程语言中运行 SQL 时，结果将作为 DataFrame 返
回。您还可以使用命令行或 jdbc/odbc 来与 SQL 接口进行交互。
2. 什么是 DataFrame
一个以命名列组织的分布式数据集 。概念上相当于关系数据库中一张表或在 R /
Python 中的 data frame 数据结构,但 DataFrame 有丰富的优化。在 Spark 1.3 之前，
核心的新类型为 RDD-schemaRDD,现改为 DataFrame。spark 通过 DataFrame 操作
大量 的数据 源，包 括 外部文 件（如 json 、avro 、parquet、sequence%le 等 等） 、
Hive、关系数据库、cassandra 等。
3. DataFrame 和 RDD 的区别
剩余11页未读，继续阅读
资源评论
