没有合适的资源？快使用搜索试试~ 我知道了~

文库首页前端Node.jsDataFrame概述

DataFrame概述

dataframe

需积分: 0 0 下载量 116 浏览量 2024-11-06 22:28:39 上传评论收藏 376KB PPTX 举报

温馨提示

试读

21页

DataFrame概述

资源推荐

资源详情

资源评论

概

述

•DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原

有的RDD转化方式更加简单易用，而且获得了更高的计算性能

•Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询

图 DataFrame与RDD的区别

•RDD是分布式的 Java对象的集合，但是，对象内部结构对于RDD而言却

是不可知的

•DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

的

创

建

•从Spark2.0以上版本开始，Spark使用全新的SparkSession接口来实现

其对数据加载、转换、处理等功能。

•SparkSession支持从不同的数据源加载数据，并把数据转换成

DataFrame，并且支持把DataFrame转换成SQLContext自身中的表，

然后使用SQL语句来操作数据。SparkSession亦提供了HiveQL以及其

他依赖于Hive的功能的支持

可以通过如下语句创建一个SparkSession对象：

from pyspark import SparkContext,SparkConf

from pyspark.sql import SparkSession

spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()

交互式环境下，在启动进入pyspark以后，pyspark就默认提供了一个

SparkContext对象（名称为sc）和一个SparkSession对象（名称为spark）

的

创

建

在创建DataFrame时，可以使用spark.read操作，从不同类型的文

件中加载数据创建DataFrame，例如：

•spark.read.text("people.txt")：读取文本文件people.txt创建

DataFrame

•spark.read.json("people.json")：读取people.json文件创建

DataFrame；在读取本地文件或HDFS文件时，要注意给出正确的

文件路径

•spark.read.parquet(“people.parquet”)：读取people.parquet文件

创建DataFrame

的

创

建

或者也可以使用如下格式的语句：

•spark.read.format("text").load("people.txt")：读取文本文件

people.json创建DataFrame；

•spark.read.format("json").load("people.json")：读取JSON文件

people.json创建DataFrame；

•spark.read.format("parquet").load("people.parquet")：读取

Parquet文件people.parquet创建DataFrame。

的

创

建

•在“/usr/local/spark/examples/src/main/resources/”这个目录下，这个目录下有两

个样例数据people.json和people.txt。

people.json文件的内容如下：

{"name":"Michael"}

{"name":"Andy", "age":30}

{"name":"Justin", "age":19}

people.txt文件的内容如下：

Michael, 29

Andy, 30

Justin, 19

一个实例

剩余20页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

gyyxinyun

粉丝: 2
资源: 0

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

DataFrame概述

matlab开发-DataFrame

数据处理Pandas-实现DataFrame数据的排序或排名-Python实例源码.zip

dataframe-examples

Python DataFrame对象plot函数的原始文本数据

SparkSql和DataFrame实战.docx

pandas DataFrame 交集并集补集的实现

pandas DataFrame索引行列的实现

SparkML算法详解(关于DataFrame的API操作)--数据挖掘(Scala与Java版)

项目是一个简单的数据分析应用程序，用于处理和可视化大型数据集

Pandas速查手册.zip

中级108道总题库.docx1去微软飞天御剑好吧

Python-pandas基础习题与答案

spark SQL应用解析

pandas使用手册.pdf

03_SparkSql.docx

内容介绍了SparkSql概述，参数调优，逻辑优化及数栈问题案例。

第二章单元测试题.docx

LearningPySpark_Code.zip

pandas基础使用教程.pdf

Pyspark

sparkSQL文档

pandas库的概述、简介及应用.pdf

TensorFramesGoogleTensorflowwithApacheSpark.zip

SparkSQL应用解析

Python数据科学速查表 - Pandas 基础.pdf

基于Python的数据分析概述.zip

实训作业2.docx

最新资源