没有合适的资源?快使用搜索试试~ 我知道了~
java8看不到源码-arrow-data-source:SparkDataSouce插件,用于将Parquet等各种格式的文件...
共52个文件
scala:20个
md:7个
java:6个
需积分: 9 0 下载量 46 浏览量
2021-06-04
20:11:16
上传
评论
收藏 196KB ZIP 举报
温馨提示
java8 看不到源码注意:此存储库已弃用 Arrow 数据源的开发已移入 . 箭头数据源 用于将文件读入 Arrow 兼容柱状向量的 Spark DataSource 实现。 笔记 该库的开发仍在进行中。 因此,由于迄今为止的测试能力有限,某些功能在尚未充分考虑的生产环境中使用时可能不稳定。 在线文档 您可以在 . 建造 先决条件 在构建项目之前有一些要求。 请确保您已经在系统中安装了该软件。 gcc 9.3 或更高版本 java8 OpenJDK -> yum install java-1.8.0-openjdk cmake 3.2 或更高版本 maven 3.1.1 或更高版本 Hadoop 2.7.5 或更高版本 Spark 3.0.0 或更高版本 英特尔优化 Arrow 3.0.0 conda建筑 如果您已经有一个可用的 Hadoop Spark Cluster,我们提供了一个 Conda 包,它会自动安装 OAP 所需的依赖项,您可以参考以获取更多信息。 完成后,您可以在$HOME/miniconda2/envs/oapenv/oap_jars下找到构建的spark-arr
资源推荐
资源详情
资源评论
收起资源包目录
arrow-data-source-master.zip (52个子文件)
arrow-data-source-master
.gitignore 211B
resource
arrowdatasource_validation.png 46KB
.travis.yml 9KB
CHANGELOG.md 26KB
LICENSE.txt 11KB
.github
PULL_REQUEST_TEMPLATE 316B
workflows
dev_cron.yml 2KB
tpch.yml 3KB
report_ram_log.yml 3KB
dev_cron
issues_link.js 2KB
title_check.js 2KB
title_check.md 1KB
scalastyle-config.xml 19KB
pom.xml 6KB
README.md 10KB
parquet
src
main
scala
com
intel
oap
spark
sql
execution
datasources
v2
parquet
ServiceLoaderUtil.scala 1KB
org
apache
spark
sql
execution
datasources
parquet
ParquetFileFormat.scala 21KB
ParquetSQLConf.scala 2KB
ParquetFileFormatIndicator.scala 961B
test
scala
com
intel
oap
spark
sql
execution
datasources
v2
parquet
ParquetFileFormatTest.scala 4KB
pom.xml 953B
mkdocs.yml 448B
common
src
main
scala
org
apache
spark
sql
execution
datasources
v2
arrow
SparkSchemaUtils.scala 1KB
SparkMemoryUtils.scala 8KB
java
com
intel
oap
spark
sql
execution
datasources
v2
arrow
NativeSQLMemoryConsumer.java 2KB
Spiller.java 1KB
NativeSQLMemoryMetrics.java 1KB
SparkManagedAllocationListener.java 1KB
SparkManagedReservationListener.java 2KB
pom.xml 3KB
docs
index.md 10KB
OAP-Installation-Guide.md 3KB
User-Guide.md 10KB
image
arrowdatasource_validation.png 46KB
OAP-Developer-Guide.md 4KB
standard
src
main
resources
META-INF
services
org.apache.spark.sql.sources.DataSourceRegister 72B
scala
com
intel
oap
spark
sql
DataFrameReaderImplicits.scala 2KB
execution
datasources
arrow
ArrowFileFormat.scala 6KB
v2
arrow
ArrowPartitionReaderFactory.scala 4KB
ArrowScan.scala 3KB
ArrowTable.scala 2KB
ArrowFilters.scala 8KB
ArrowDataSourceV2.scala 2KB
ArrowOptions.scala 2KB
ArrowSQLConf.scala 1KB
ArrowScanBuilder.scala 2KB
ArrowUtils.scala 6KB
java
com
intel
oap
vectorized
ArrowWritableColumnVector.java 48KB
test
resources
cars.csv 135B
scala
com
intel
oap
spark
sql
execution
datasources
arrow
ArrowDataSourceTPCHBasedTest.scala 12KB
ArrowDataSourceTest.scala 10KB
pom.xml 5KB
共 52 条
- 1
资源评论
weixin_38502639
- 粉丝: 6
- 资源: 913
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- mc.as
- 618家具社群团购清单.xlsx
- Javascript的鼠标手势
- hdmi in视频采集,输出到hdmi out, 支持HDMI指令控制,支持TFTP远程下载图片
- 批量word文件内容替换工具1.0 (批量实现多个 Word 文档文件文字替换利器).exe
- Cartoon GUI Pack 1.2.zip
- 我分享个魔兽内存修改器
- Python毕业设计基于Django的网易云数据分析可视化大屏系统的设计与实现+使用说明+全部资料(优秀项目).zip
- mp3 idv2,idv1,frame分析工具
- 鹈鹕优化算法POA MATLAB源码, 应用案例为函数极值求解以及优化svm进行分类,代码注释详细,可结合自身需求进行应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功