没有合适的资源?快使用搜索试试~ 我知道了~
hadoop-lzo-master.zip
共77个文件
java:30个
m4:7个
txt:6个
需积分: 10 5 下载量 110 浏览量
2016-04-07
23:34:31
上传
评论 1
收藏 1014KB ZIP 举报
温馨提示
Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压。LZO库实现了许多有下述特点的算法: (1)、解压简单,速度非常快。 (2)、解压不需要内存。 (3)、压缩相当地快。 (4)、压缩需要64 kB的内存。 (5)、允许在压缩部分以损失压缩速度为代价提高压缩率,解压速度不会降低。 (6)、包括生成预先压缩数据的压缩级别,这样可以得到相当有竞争力的压缩比。 (7)、另外还有一个只需要8 kB内存的压缩级别。 (8)、算法是线程安全的。 (9)、算法是无损的。
资源推荐
资源详情
资源评论
收起资源包目录
hadoop-lzo-master.zip (77个子文件)
hadoop-lzo-master
.gitattributes 198B
COPYING 34KB
src
test
resources
log4j.properties 1KB
data
0.txt.lzo 47B
1000.txt.lzo 4KB
100000.txt 575KB
100.txt 292B
1000.txt 4KB
100000.txt.lzo 339KB
100000-truncated.txt.lzo 324KB
0.txt 0B
100.txt.lzo 353B
issue20-lzop.txt 72B
100000-truncated.txt 512KB
java
com
hadoop
mapreduce
TestLzoTextInputFormat.java 13KB
compression
lzo
TestLzopOutputStream.java 8KB
TestLzoCodec.java 3KB
TestLzoRandData.java 3KB
TestLzopInputStream.java 5KB
main
native
bootstrap.sh 135B
aclocal.m4 36KB
packageNativeHadoop.sh 2KB
Makefile.am 1KB
gplcompression.sln 2KB
impl
lzo
lzo.h 1011B
LzoDecompressor.c 9KB
LzoCompressor.c 16KB
gpl-compression.h 5KB
config.h.in 4KB
configure 415KB
.autom4te.cfg 1KB
config
config.guess 43KB
config.sub 31KB
install-sh 9KB
missing 11KB
depcomp 16KB
ltmain.sh 238KB
m4
ltversion.m4 703B
ltoptions.m4 12KB
compression_utils.m4 2KB
ltsugar.m4 4KB
lt~obsolete.m4 6KB
libtool.m4 254KB
configure.ac 3KB
gplcompression.vcxproj 8KB
Makefile.in 18KB
java
com
quicklz
QuickLZ.java 10KB
hadoop
mapreduce
LzoLineRecordReader.java 4KB
LzoSplitRecordReader.java 6KB
LzoIndexOutputFormat.java 2KB
LzoSplitInputFormat.java 934B
LzoIndexRecordWriter.java 2KB
LzoTextInputFormat.java 5KB
mapred
DeprecatedLzoLineRecordReader.java 3KB
DeprecatedLzoTextInputFormat.java 6KB
compression
lzo
LzoCompressor.java 13KB
LzopOutputStream.java 8KB
LzoDecompressor.java 10KB
GPLNativeCodeLoader.java 5KB
LzoInputFormatCommon.java 3KB
LzopInputStream.java 12KB
LzoIndex.java 9KB
LzopCodec.java 7KB
DistributedLzoIndexer.java 5KB
util
CompatibilityUtil.java 6KB
LzopDecompressor.java 4KB
LzoIndexer.java 5KB
CChecksum.java 1KB
LzoCodec.java 9KB
DChecksum.java 1KB
org
apache
hadoop
io
compress
LzoCodec.java 2KB
scripts
get_build_revision.sh 598B
.travis.yml 333B
README.md 10KB
pom.xml 19KB
.gitignore 869B
.archive-version 41B
共 77 条
- 1
资源评论
chen35459720
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功