kafka+flume 实时采集oracle数据到hive中.docx

讲述如何采用最简单的kafka+flume的方式，实时的去读取oracle中的重做日志+归档日志的信息，从而达到日志文件数据实时写入到hdfs中，然后将hdfs中的数据结构化到hive中。

apache-airflow-1.10.3-bin.tar.gz

Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(DAG)，airflow可以定义一组有依赖的任务，按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控，而其web管理界面同样也可以方便的管控调度任务，并且对任务运行状态进行实时监控，方便了系统的运维和管理。

nifi-1.9.2-source-release.zip

Apache NiFI 1.9.2版本资源库 nifi-1.9.2-source-release.zip

nifi-toolkit-1.9.2-bin.tar.gz

nifi-toolkit-1.9.2-bin.tar.gz Apache NiFI 授权配置工具包

apache-tez-0.8.3-src.tar.gz

Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业。总结起来，Tez有以下特点： （1）Apache二级开源项目（源代码今天发布的） （2）运行在YARN之上 （3） 适用于DAG（有向图）应用（同Impala、Dremel和Drill一样，可用于替换Hive/Pig等

apache-tez-0.9.0-bin.tar.gz

Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业。总结起来，Tez有以下特点： （1）Apache二级开源项目（源代码今天发布的） （2）运行在YARN之上 （3） 适用于DAG（有向图）应用（同Impala、Dremel和Drill一样，可用于替换Hive/Pig等）

apache-storm-2.0.0-src.tar.gz

稳定版本的flink软件，apache-storm-2.0.0-src.tar.gz，测试通过可以。

airflow dag之间调用方法.docx

airflow触发器可以一个dag中同时触发一个或者多个子dag，也可在子触发了的dag中在触发一个或者多个dag。

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

flume+kafka+storm搭建

flume+kafka+storm搭建 详细讲解大数据的消息平台的搭建。