pyspark 读取读取csv文件创建文件创建DataFrame的两种方法的两种方法
方法一：用方法一：用pandas辅助辅助
from pyspark import SparkContext
from pyspark.sql import SQLContext
import pandas as pd
sc = SparkContext()
sqlContext=SQLContext(sc)
df=pd.read_csv(r'game-clicks.csv')
sdf=sqlc.createDataFrame(df)
方法二：纯方法二：纯spark
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')
以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希
望大家多多支持软件开发网。
您可能感兴趣的文章您可能感兴趣的文章:python批量读取txt文件为DataFrame的方法读取json格式为DataFrame(可转为.csv)的实例讲解Python写
入CSV文件的方法利用Pandas 创建空的DataFrame方法python中pandas.DataFrame的简单操作方法（创建、索引、增添与
删除）
资源评论
weixin_38550137
- 粉丝: 3
- 资源: 926
最新资源
- 这个项目创建于2024.2.25，为了满足大一下学期即将到来的编程课程、数学建模以及大创项目开发，qt数据库sqlite3增删改
- Continue.continue-0.9.207@linux-arm64
- 中国所有城市名称大全汉字+拼音 合计694个 一行一个 例如
- 东三省数学建模2024-2024-shenzheng-math.zipandroid studio开发app项目
- 电子设计项目毕业设计论文PLC电梯控制系统
- Prometheus向量匹配程序
- 电子设计项目毕业设计论文PICICD2仿真器的原理图与PCB资料
- VSCode-win32-arm64-1.93.0.zip
- 磨光机2-机械3D图Solidworks设计图.zip
- vscode-cli-win32-arm64-cli.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
