1
大数据处理框架：Flink：Flink 窗口函数与时间语义
1 大数据处理框架：Flink：Flink 窗口函数与时间语义
1.1 Flink 简介
1.1.1 Flink 核心概念
Flink 是一个用于处理无界和有界数据流的开源流处理框架。它提供了低延
迟、高吞吐量和强大的状态管理能力，使其成为实时数据处理的理想选择。
Flink 的核心概念包括：
� 流(Stream)：数据的连续流，可以是无界的（无限的）或有界的
（有限的）。
� 算子(Operator)：对流数据进行操作的函数，如 map、filter、
reduce 等。
� 状态(State)：算子在处理数据时可以维护的状态，用于实现复杂
的数据流处理逻辑。
� 时间(Time)：Flink 支持三种时间模型：事件时间、处理时间、摄
取时间。
1.1.2 Flink 时间模型概述
Flink 的时间模型是其处理流数据的关键特性之一，它允许用户根据不同的
场景选择最合适的时间语义。Flink 支持以下三种时间：
� 事件时间(Event Time)：基于事件发生的时间戳，即使事件到达的
顺序可能与实际发生的时间顺序不同。
� 处理时间(Processing Time)：基于系统处理事件的时间，即事件到
达 Flink 系统的时间。
� 摄取时间(Ingestion Time)：基于事件被 Flink 系统首次摄取的时间，
通常与处理时间相同。
1.2 Flink 窗口函数
Flink 的窗口函数允许用户对流数据进行时间窗口的聚合操作，如计算每分
钟的平均值、每小时的总和等。窗口函数可以基于事件时间或处理时间定义，
并且支持滑动窗口和滚动窗口。
1.2.1 滚动窗口(Rolling Window)
滚动窗口在固定的时间间隔内收集数据，例如每 5 分钟收集一次。当窗口
关闭时，会计算窗口内的数据并输出结果。
剩余25页未读，继续阅读
资源评论
kkchenjj
- 粉丝: 2w+
- 资源: 5471
