没有合适的资源?快使用搜索试试~ 我知道了~
spark-sql-magic:IPython使用Spark-SQL的魔力
共16个文件
py:8个
parquet:1个
txt:1个
需积分: 10 1 下载量 30 浏览量
2021-05-21
14:31:38
上传
评论
收藏 13KB ZIP 举报
温馨提示
spark-sql-magic 使用提供SQLContext通过Spark运行SQL语句。 这种魔术将使用通过-s参数指定SQLContext。 如果没有提供,魔术将通过SQLContext搜索用户名称空间。 如果魔术找到了一个正确SQLContext,则将使用它。 如果有多个SQLContext,则需要指定一个。 这个魔术返回了漂亮的打印pyspark DataFrame。 -l选项用于加载json和parquet文件。 该文件将被加载并注册为一个表,并从文件名中推断出表名。 文件必须具有.json或.parquet扩展名。 -w选项用于将查询的输出写入JSON或Parquet文件。 从文件扩展名推断输出格式。 Python变量可以通过在标识符前面加上冒号来引用。 这会将变量的字符串表示形式注入查询中。 例子:: %sparksql -s context SHOW TABLES
资源推荐
资源详情
资源评论
收起资源包目录
spark-sql-magic-master.zip (16个子文件)
spark-sql-magic-master
src
tests
run_tests.sh 214B
test_magic.py 5KB
test_fillPlaceholder.py 1KB
sparksql
fileManip.py 563B
fillPlaceholder.py 2KB
__init__.py 21B
prettyDataFrame.py 839B
magic.py 5KB
requirements.txt 22B
examples
data
people.json 73B
users.parquet 615B
Spark SQL Magic Demo.ipynb 17KB
.travis.yml 130B
setup.py 303B
README.md 1KB
.gitignore 54B
共 16 条
- 1
资源评论
初見目
- 粉丝: 19
- 资源: 4594
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功