大数据之flink教程-TableAPI和SQL.docx资源-CSDN文库

需积分: 15 23 浏览量 2020-11-23 20:51:15 上传评论 1 收藏 483KB DOCX 举报

资源推荐

资源详情

资源评论

Table API 和 Flink SQL

第一章整体介绍

1.1 什么是 Table API 和 Flink SQL

 本身是批流统一的处理框架，所以  和 ，就是批流统一的上层处理

。

目前功能尚未完善，处于活跃的开发阶段。

 是一套内嵌在  和  语言中的查询 ，它允许我们以非常直观的方式，

组合来自一些关系运算符的查询（比如 、 和 ）。而对于 ，就是直接

可以在代码中写 ，来实现一些查询（）操作。 的  支持，基于实现了 

标准的 （ 开源  解析工具）。

无论输入是批输入还是流式输入，在这两套  中，指定的查询都具有相同的语义，

得到相同的结果。

1.2 需要引入的依赖

 和  需要引入的依赖有两个： 和  。

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-table-planner_2.11</artifactId>

<version>1.10.0</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-table-api-scala-bridge_2.11</artifactId>

<version>1.10.0</version>

</dependency>

!""： 计划器，是  最主要的部分，提供了运行时环境和

生成程序执行计划的 ；

!"""" ：  桥接器，主要负责  和 #$%#

 的连接支持，按照语言分  和 。

这里的两个依赖，是 #& 环境下运行需要添加的；如果是生产环境， 目录下默认已

经有了 ，就只需要有   就可以了。

当然，如果想使用用户自定义函数，或是跟 ' 做连接，需要有一个 ，这

个包含在 !""$$ 里。

1.3 两种 planner（old & blink）的区别

()批流统一：* 将批处理作业，视为流式处理的特殊情况。所以， 不支持表和

# 之间的转换，批处理作业将不转换为 # 应用程序，而是跟流处理一样，转换

为 #$ 程序来处理。

+)  因为批流统一， *  也不支持 * ，而使用有界的

$ 代替。

,)* 只支持全新的目录，不支持已弃用的 &- 。

.)旧  和 * 的  实现不兼容。旧的  会把

&- 下推到  中，而  则会把 &- 下推。

/)基于字符串的键值配置选项仅适用于 *。

0) 在两个  中的实现不同。

1)* 会将多个  优化在一个 #2 中（仅在 &$ 上受支持，而

在 $&$ 上不受支持）。而旧  的优化总是将每一个  放在一个

新的 #2 中，其中所有 #2 彼此独立。

剩余49页未读，继续阅读

内容反馈

YuBx

粉丝: 25
资源: 26

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip