Flink课件.doc

Flink基础知识点总结 本文档将对Flink的基本概念和技术特性进行概述，涵盖了流处理技术的演变、Flink的起源、Flink的技术架构、批处理与流处理的概念等方面。 一、流处理技术的演变 流处理技术的发展可以追溯到Apache Storm项目，该项目是流处理的先锋。但是，Storm存在一些缺陷，如难以实现高吞吐、正确性无法达到通常所需的水平等。为了解决这些问题，人们提出了微批处理方法，将连续时间中的流数据分割成一系列微小的批量作业。这种方法可以实现exactly-once语义，从而保障状态的一致性。 二、Flink的起源 Flink起源于Stratosphere项目，该项目是由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目。2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会。Flink是一种开源的流处理框架，旨在提供分布式、高性能、随时可用以及准确的流处理应用程序。 三、Flink的技术架构 Flink的核心计算架构是Flink Runtime执行引擎，该引擎是一个分布式系统，能够接受数据流程序并在一台或多台机器上以容错方式执行。Flink Runtime执行引擎可以作为YARN（Yet Another Resource Negotiator）的应用程序在集群上运行，也可以在Mesos集群上运行，还可以在单机上运行。 四、批处理与流处理 批处理的特点是有界、持久、大量，批处理非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时，流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作， 一般用于实时统计。Flink可以同时实现批处理和流处理，Flink将批处理视作一种特殊的流处理。 五、Flink的特性 Flink的特性包括： * 高性能：Flink可以提供高性能的流处理应用程序。 * 分布式：Flink可以在分布式环境中运行。 * 随时可用：Flink可以提供随时可用的流处理应用程序。 * 准确：Flink可以提供准确的流处理应用程序。 Flink是一种功能强大且灵活的流处理框架，能够满足不同类型的流处理需求。