没有合适的资源?快使用搜索试试~
我知道了~
文库首页
大数据
Hadoop
(orc + snappy / zlib ) 多线程并行合并小文件工具类 (出自:flink自定义合并orc小文件处)
(orc + snappy / zlib ) 多线程并行合并小文件工具类 (出自:flink自定义合并orc小文件处)
共2个文件
java:2个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
flink
5星
· 超过95%的资源
2 下载量
145 浏览量
2022-03-04
16:13:01
上传
评论
收藏
4KB
ZIP
举报
温馨提示
五一特惠:¥3.90
13.90
通过指定目录进行多线程执行合并小文件程序,由于hdfs小文件过多,可用于自定义合并orc小文件。
资源推荐
资源详情
资源评论
多线程压缩zlib
浏览:53
使用多线程方法来进行zlib压缩的C源码,gcc编译环境。 压缩测试结果,与单线程的对比: 1线程,速度100% 2线程,速度183% 3线程,速度268% 4线程,速度345%
Spark小文件异步合并工具
浏览:16
java写的一个spark小文件合并工具,支持text、parquet、orc等格式,分享给有需要的人
写ORC 格式文件,HIVE 工具类
浏览:175
写ORC 格式文件的工具类,可以用于写hive orc 的格式,
Flink技术增强
浏览:156
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。
hadoop处理海小文件的改进方法
浏览:123
hadoop处理海小文件的一种改进方法的文章,可供参考。
数据合并工具,文件合并工具,Python
浏览:159
5星 · 资源好评率100%
61.建立指定路径(D:\HB,文件夹名:HB ,内部放置需要合并的数据库mdb或gdb或shp)2.在arcgis工具箱加载后直接使用(注意HB文件夹内的第一个数据库需完整的要素,只读取第一个数据库内的层,其他的数据库都是追加到此数据库中)
3C+orc+ai 圣骑造塔
浏览:134
3C+orc+ai 圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔圣骑造塔
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件
浏览:52
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件 网址:https://blog.csdn.net/chenwewi520feng/article/details/130456088 本文的前提是hadoop环境正常。 本文最好和MapReduce操作常见...
Delphi ORC 运动物体 / 监控识别 源码 (超强)100%能用
浏览:38
4星 · 用户满意度95%
ORC、图片、视频、摄像、识别码,delphi编写 案例100%能用 好东东大家分享 顶.........
FlinkParquet:使用Parquet文件格式(使用Avro)通过Apache Flink处理数据
浏览:121
使用Apache Flink处理Apache Parquet文件此仓库包含用于设置Flink数据流以处理Parquet文件的示例代码。 resources/下的CSV数据集是从下载的Restaurant Score数据集。 有关更多信息,请参见。 ###生成Avro模型类如果...
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
浏览:109
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件 网址:https://blog.csdn.net/chenwewi520feng/article/details/130455817 本文介绍使用MapReduce读写文件,包括:读写SequenceFile、MapFile、...
hive-orc-2.1.1-cdh6.1.1.jar
浏览:19
替换后的hive-orc-2.1.1-cdh6.1.1.jar包
hive2.1.1中orc格式读取报数组越界错误解决方法
浏览:47
hive2.1.1orc格式读取报数组越界错误,替换jar包。hive-exec-2.1.1-cdh6.3.2.jar、hive-orc-2.1.1-cdh6.3.2.jar。分发各个服务器即可。
3C-ORC-AI-V1.69LeagueV 正版地图
浏览:178
5星 · 资源好评率100%
3C-ORC-AI-V1.69LeagueV 正版地图,3corc orc3c 正版地图 war3.
ORC(图片/PDF)、直接打开PDF、PDF转jpg
浏览:82
运用office 2007 imaging进行ocr,对PDF扫描分双层PDF扫描(直接提取文字)、单层PDF扫描(PDF转jpg,jpg再ocr),要求装了office 2007 和补丁。 直接打开PDF 要求系统装了Adobe PDF Reader
datax支持读取parquet格式文件,支持写入parquet格式文件,修复读取orc读取数据丢失问题
浏览:149
新增支持读取parquet格式文件,支持写入parquet格式文件,修复读取orc读取数据丢失问题,重新打包后的jar文件。
orc-shims-1.5.5-API文档-中文版.zip
浏览:195
赠送jar包:orc-shims-1.5.5.jar; 赠送原API文档:orc-shims-1.5.5-javadoc.jar; 赠送源代码:orc-shims-1.5.5-sources.jar; 赠送Maven依赖信息文件:orc-shims-1.5.5.pom; 包含翻译后的API文档:orc-shims-...
orc-shims-1.5.5-API文档-中英对照版.zip
浏览:115
赠送jar包:orc-shims-1.5.5.jar; 赠送原API文档:orc-shims-1.5.5-javadoc.jar; 赠送源代码:orc-shims-1.5.5-sources.jar; 赠送Maven依赖信息文件:orc-shims-1.5.5.pom; 包含翻译后的API文档:orc-shims-...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(一)
浏览:54
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(一) 网址:https://blog.csdn.net/chenwewi520feng/article/details/130465139 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据,...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(二)
浏览:188
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(二) 网址:https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据,...
PDF 文件转换器,orc识别
浏览:23
可以用于OCR 识别图片的文件,转换成文字,将pdf等文件转换为word文件等等。
orc:Orc编程语言实现
浏览:164
ORC编程语言结构化并行编程 德克萨斯大学奥斯汀分校 适用于Orc信息库的自述文件 欢迎! 该存储库包括Orc编程语言的文档,实现,工具,库,测试和示例。 Orc可以以几种不同的方式使用: 网络内浏览器界面 Eclipse ...
CTF_ORC图片文本识别工具
浏览:159
主要是调用Tesseract OCR 5.0。在CTF中可以快速提取图片里的flag,帮助你拿一血。将图片直接拖入即可识别文件。
项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计
浏览:90
项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍: 数据采集:系统通过各种渠道(如招聘网站、社交媒体等)获取大量的招聘相关数据,包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在
hadoop-3.3.4.tar.gz + winutils 安装环境
浏览:175
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四
基于Hadoop的电影影评数据分析
浏览:70
5星 · 资源好评率100%
是大数据课程大作业,基于Hadoop的电影影评数据分析,需要安装Hadoop,了解MapReduce 和HDFS。
基于大数据的音乐推荐系统(适合本科毕设)
浏览:173
主要是用于大家对于大数据的基本处理,适合大学生本科毕设的参考。
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载)
浏览:145
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载) 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍: 数据采集:系统通过各种渠道(如招聘网站、社交媒体等)获取大量的招聘相关数据,包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在。
适用于hadoop 3.3.5 3.3.6版本的winutils
浏览:114
5星 · 资源好评率100%
winutils文件合集,Hadoop3.3.5以及3.3.6可用 winutils.exe是在windows系统上安装hadoop时所需要的winutils文件,内附多个版本,支持 hadoop-3.3.5 hadoop-3.3.6
收起资源包目录
orcMerge.zip
(2个子文件)
CTask.java
5KB
OrcFileMergingCommitPolicy.java
6KB
共 2 条
1
评论
收藏
内容反馈
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
五一特惠:¥3.90
13.90
资源评论
资源反馈
评论星级较低,若资源使用遇到问题可联系上传者,3个工作日内问题未解决可申请退款~
联系上传者
评论
海水孤独
2023-04-20
资源很实用,对我启发很大,有很好的参考价值,内容详细。
2301_77204435
2024-03-07
非常有用的资源,有一定的参考价值,受益匪浅,值得下载。
刘狗
粉丝: 67
资源:
2
私信
上传资源 快速赚钱
我的内容管理
展开
我的资源
快来上传第一个资源
我的收益
登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏
我的下载
下载帮助
前往需求广场,查看用户热搜
最新资源
InsightFace从青铜到王者,超大规模人脸识别的优雅解法
基于 STM32 与 ESP8266 的智能家居系统源码.zip
单链表基本算法设计成品.cpp
SVID_20240421_174417_1.mp4
基于matlab简单图像的分割识别(3456形的识别).zip代码59
虚拟机配置+群集配置+tomcat服务器实现双机热备文档
Pra4-1.c
Python基于YOLOv7的人员跌倒检测系统(源码&教程&数据集)
Linux与Windows服务器双网卡绑定
车联助手-小窗版(三星)3.5.6.apk
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功