信息发布→ 登录 注册 退出

2025年最新最全Flink系列教程__FlinkTable&SQL(六、七)

发布时间:2025-10-01

点击量:

今天的目标是了解flink table & sql的发展历程,理解为何使用table api & sql,掌握如何使用flink table & sql进行批处理和流处理开发,以及学习常见的开发案例和flink-sql的常用算子。

Flink Table & SQL提供了一种更高抽象层次的操作,其底层依赖于Flink Runtime的Stream流程。批处理可以看作是流处理的一种特殊形态。Flink SQL遵循ANSI的SQL规范。在Flink 1.9之前,Flink SQL包含两套Table API:DataStream Table API(用于流处理)和DataSet Table API(用于批处理)。

Planner(查询器)负责将抽象语法树通过parser、optimizer和codegen(模板代码生成)转化为Flink Runtime直接执行的代码。Planner包括旧版Planner和Blink Planner,后者实现了流批一体化处理,是默认的Planner。

Flink Table & SQL的程序结构涉及动态表和连续查询。Flink-SQL的常用算子包括Join操作,如full join。

此外,介绍了多语言实现WordCount问题,构建模块和导包问题,以及Operator state案例。如果没有设置每秒钟生成一条记录,状态不会被保存,每次都会从头开始。这是因为checkpoint需要1秒钟,但每5条数据生成时会抛出异常,导致完整的checkpoint状态备份未能完成,每次重启后都需要重新开始消费。

标签:# 更高  # 旧版  # 两套  # 抛出  # 如何使用  # 这是因为  # 重启  # 转化为  # 如果没有  # word  # 批处理  # flink  # table  # operator  # sql  # 多语言  # stream  
在线客服
服务热线

服务热线

4008888355

微信咨询
二维码
返回顶部
×二维码

截屏,微信识别二维码

打开微信

微信号已复制,请打开微信添加咨询详情!