—————————————————————————————————————
1.2 MR 支持的压缩编码
压缩格式
自带？ 算法 文件扩展名 是否可切分 换成压缩格式后，原来的程序是否需要修改
是，直接使用
否 和文本处理一样，不需要修改
是，直接使用
否 和文本处理一样，不需要修改
是，直接使用
是 和文本处理一样，不需要修改
否，需要安装
是 需要建索引，还需要指定输入格式
否，需要安装
否 和文本处理一样，不需要修改
为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示。
压缩格式 对应的编码
解码器
!"#
#
$#
#
#
压缩性能的比较
压缩算法 原始文件大小 压缩文件大小 压缩速度 解压速度
%&$ '%$ '()*$ )%*$
%&$ ''$ +*$ ,)*$
%&$ ,$ +,&*$ (+-*$
http://google.github.io/snappy/
On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250
MB/sec or more and decompresses at about 500 MB/sec or more.
评论0