flink零基础入门.pdf

Apache Flink 进阶（一）：Runtime 核心机制剖析 4 Apache Flink 进阶（二）：时间属性深度解析 18 Apache Flink 进阶（三）：Checkpoint 原理剖析与应用实践 30 Apache Flink 进阶（四）：Flink on Yarn/K8s 原理剖析及实践 41 Apache Flink 进阶（五）：数据类型和序列化 60 Apache Flink 进阶（六）：Flink 作业执行深度解析 71 Apache Flink 进阶（七）：网络流控及反压剖析 88 Apache Flink 进阶（八）：详解 Metrics 原理与实战 112 Apache Flink 进阶（九）：Flink Connector 开发 125 Apache Flink 进阶（十）：Flink State 最佳实践 141 Apache Flink 进阶（十一）：TensorFlow On Flink 149 Apache Flink 进阶（十二）：深度探索 Flink SQL 159 Apache Flink 进阶（十三）：Python API 应用实践 181

spark 2.0 详解

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

hadoop权威指南第3版

hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。