flink入门文档.docx
需积分: 9 62 浏览量
2022-08-16
16:20:57
上传
评论
收藏 614KB DOCX 举报
1.入门概念
1.1 核心特点
按照老中少三代来区分大数据框架，老一代为 处理流式数据的 storm，中一带为 处理批式
数据的 hadoop、spark（微批为流），少一代为 本文章描述的 flink，自从阿里接管 flink 的
开源后，今天的 flink 已经已经十分强大，兼有 批流一体、高容错、高吞吐低延迟、大规模
计算、多平台部署等核心特点
Flink：实时流处理，支持低延迟、高吞吐、exactly-once 语义、有状态的计算、基于事件时
间的处理
1.1.1 批流数据
传统的大数据理解中，数据源源不断的产生，没有终止，同时也积累的许多。针对
以上，源源不断的来的即为流式数据（无界数据），积累的一批为批式数据（有界数据）。
批数据除了是已经产生的数据，还可以由流式数据作一定规则的细分截取产生。具体的的应
用 应视情况而定，可以针对流式数据作聚合操作，也可以等攒齐了 一次性操作。Flink 同
时支持对流式数据操作和批示数据操作，且强于以上框架。
1.1.2 容错能力
Flink 容错能力主要有三种：依赖于集群管理、依赖于协调组件、依赖于自身快照
机制
一：集群管理
Flink 支持多平台部署，其中 k8s 之类的容器集群管理平台本身自带当进程挂掉时，
重启新进程接管工作的功能。
二：协调组件
Flink 可通过相应配置开启 HA 模式，依赖于 Zookeeper 的分布式协调服务。
三：快照机制
Flink 通过设计检查点和状态存储，来保证重启后可接着上次断点后继续工作。
1.1.3 高吞吐低延迟
Flink 除了在计算、传输、序列化做了优化外，得益于本身的快照机制，不依赖会
产生阻塞的调度，从而可以持续处理数据
1.1.4 大规模复杂计算
计算方面也得益于 flink 本身的容错机制和状态存储设置，可以使 flink 已聚合的方
式逐批处理数据，并聚合保存之前和现有的状态 于本地内存中（数据是否共享有待研究，
个人觉得是共享的 ），如此一来可以极大的降低大数据的调度】管理等
剩余30页未读，继续阅读
评论0