大数据云计算技术 暴风集团基于hadoop的数据平台总体架构简介（共18页）.ppt

数据平台之IUPushRsync IUPushRsync 程序利用rsync -U 命令对日志文件进行增量式同步，其优点在于：1）准实时数据压缩传输（降低宽带占用）；2）数据完整性检验 数据平台之hadoop Hadoop 是一个能够对PB级数据进行分布式 并行处理的软件框架。hadoop能够同时提供 数据存储和运算上的备份，并提供多种数据 访问和运算接口：mapred编程框架、hive数 据仓库（类似于MySQL）、pig数据流编程 语言、fuse（将HDFS文件系统挂载成普通文 件系统）