大数据技术体系.pdf

⼤数据技术体系 ⽂件存储：Hadoop HDFS、Tachyon、KFS 离线计算：Hadoop MapReduce、Spark 流式、实时计算：Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库：HBase、Redis、MongoDB 资源管理：YARN、Mesos ⽇志收集：Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习：Mahout、Spark MLLib 数据同步：Sqoop任务调度：Oozie 以上这些⼯具，是和⼤数据有关的⼀些框架技术，可以看到每⼀个类型中都有多种技术可以实现，所以在做技术选型的时候，需要根据⾃⼰ 的业务实际情况选择最适合⾃⼰的框架。