Flink系列

Flink系列之：WITH clause

Flink系列之：WITH clause 适用流、批提供了一种编写辅助语句以在较大查询中使用的方法。这些语句通常称为公共表表达式 (CTE)，可以被视为定义仅针对一个查询而存在的临时视图。 WITH 语句的语法为： WITH <with_item_definition> [ , …

Flink系列之：窗口去重

Flink系列之：窗口去重一、窗口去重二、示例三、限制一、窗口去重适用于Streaming窗口去重是一种特殊的去重，它根据指定的多个列来删除重复的行，保留每个窗口和分区键的第一个或最后一个数据。对于流式查询，与普通去重不同&…

Flink系列之：Top-N

Flink系列之：Top-N 一、TOP-N二、无排名输出优化一、TOP-N 适用于流、批Top-N 查询可以根据指定列排序后获得前 N 个最小或最大值。最小值和最大值集都被认为是Top-N查询。在需要从批表或流表中仅显示 N 个底部或 N 个顶部记录时，Top-N 查询是非常有用…

Flink系列之：监控Checkpoint

Flink系列之：监控Checkpoint 一、概览二、概览（Overview）选项卡三、历史记录（History）选项卡四、历史记录数量配置五、摘要信息（Summary）选项卡六、配置信息（Configuration&#xff…

Flink系列之：Table API Connectors之JSON Format

Flink系列之：Table API Connectors之JSON Format 一、JSON Format二、依赖三、创建一张基于 JSON Format 的表四、Format 参数五、数据类型映射关系一、JSON Format JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推…

Flink系列之：自定义函数

Flink系列之：自定义函数一、自定义函数二、概述三、开发指南四、函数类五、求值方法六、类型推导七、自动类型推导八、定制类型推导九、确定性十、内置函数的确定性十一、运行时集成十二、标量函数十三、表值函数十四、聚合函数十五、表值聚合函数一、自定义函数 …

Flink系列之：Checkpoints 与 Savepoints

Flink系列之：Checkpoints 与 Savepoints 一、概述二、功能和限制一、概述从概念上讲，Flink 的 savepoints 与 checkpoints 的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。 Checkpoints 的主要目的是为意外失败的作业提供恢复机制。 …

Flink系列之：Checkpoints

Flink系列之：Checkpoints 一、概述二、保留Checkpoint三、目录结构四、通过配置文件全局配置五、创建 state backend 对单个作业进行配置六、从保留的checkpoint 中恢复状态一、概述 Checkpoint 使 Flink 的状态具有良好的容错性，通过 checkpoint 机制…

Flink系列之：集合操作

Flink系列之：集合操作一、集合操作二、UNION三、INTERSECT四、EXCEPT五、IN六、EXISTS 一、集合操作适用于流、批操作二、UNION UNION 和 UNION ALL 返回两个表中的数据。 UNION 会去重，UNION ALL 不会去重。 Flink SQL> create view t1(s) as…

Flink系列之：SQL提示

Flink系列之：SQL提示一、动态表选项二、语法三、例子四、查询提示五、句法六、加入提示七、播送八、随机散列九、随机合并十、嵌套循环十一、LOOKUP十二、进一步说明十三、故障排除十四、连接提示中的冲突案例十五、什么是查询块 SQL 提示可以与 SQL 语句一起使用来…

Flink系列之：使用Flink CDC从数据库采集数据，设置checkpoint支持数据采集中断恢复，保证数据不丢失

Flink系列之：使用Flink CDC从数据库采集数据，设置checkpoint支持数据采集中断恢复，保证数据不丢失一、相关技术博客二、Flink CDC从数据库采集数据三、设置checkpoint四、构建流处理管道一、相关技术博客博主相关技术博客： Flink系列之：Debezium采集Mysql数据库表数据到…

Flink系列之：Flink SQL Gateway

Flink系列之：Flink SQL Gateway 一、Flink SQL Gateway二、部署三、启动SQL Gateway四、运行 SQL 查询五、SQL 网关启动选项六、SQL网关配置七、支持的端点一、Flink SQL Gateway SQL 网关是一项允许多个客户端从远程并发执行 SQL 的服务。它提供了一种简单的方法…

Flink系列之：Elasticsearch SQL 连接器

Flink系列之：Elasticsearch SQL 连接器一、Elasticsearch SQL 连接器二、创建 Elasticsearch表三、连接器参数四、Key 处理五、动态索引六、数据类型映射一、Elasticsearch SQL 连接器 Sink: BatchSink: Streaming Append & Upsert ModeElasticsearch 连接器…

Flink系列之：State Time-To-Live (TTL)

Flink系列之：State Time-To-Live TTL 一、TTL二、TTL实现代码三、过期状态的清理一、TTL Flink的TTL（Time-To-Live）是一种数据过期策略，用于指定数据在流处理中的存活时间。TTL可以应用于Flink中的状态或事件时间窗口&#xff0…

Flink系列之：ORDER BY语句和LIMIT语句

Flink系列之：ORDER BY语句和LIMIT语句一、ORDER BY语句二、LIMIT语句一、ORDER BY语句适用于流、批一体 ORDER BY 子句使结果行根据指定的表达式进行排序。如果两行根据最左边的表达式相等，则根据下一个表达式进行比较，依此类推。如果…

Flink系列之：Table API Connectors之Debezium

Flink系列之：Table API Connectors之Debezium 一、Debezium二、依赖三、使用Debezium Format四、可用元数据五、Format参数六、重复的变更事件七、消费 Debezium Postgres Connector 产生的数据八、数据类型映射一、Debezium Debezium 是一个 CDC（Chan…

Flink系列之：JDBC SQL 连接器

Flink系列之：JDBC SQL 连接器一、JDBC SQL 连接器二、依赖三、创建 JDBC 表四、连接器参数五、键处理六、分区扫描七、Lookup Cache八、幂等写入九、JDBC Catalog十、JDBC Catalog 的使用十一、JDBC Catalog for PostgreSQL十二、JDBC Catalog for MySQL十三、数据…

Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例

Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例一、深入理解Flink TTL二、Flink SQL设置TTL三、Flink设置TTL四、深入理解checkpoint五、Flink设置Checkpoint六、Flink SQL关联多张表七、Flink SQL使用TTL关联多表一、深入理解Flink TTL …

Flink系列之：Over聚合

Flink系列之：Over聚合一、Over聚合二、ORDER BY三、PARTITION BY四、范围（RANGE）定义五、RANGE 间隔六、ROW 间隔适用于流、批一、Over聚合 OVER 聚合通过排序后的范围数据为每行输入计算出聚合值。和 GROUP BY 聚合不同， OV…

Flink系列之：SELECT WHERE clause

Flink系列之：SELECT & WHERE clause 一、SELECT & WHERE clause二、SELECT DISTINCT 适用于流、批一、SELECT & WHERE clause SELECT 语句的一般语法是： SELECT select_list FROM table_expression [ WHERE boolean_expression ]table_e…

Flink系列之：使用flink查询数据和插入数据

SELECT 语句和 VALUES 语句是使用 TableEnvironment 的 sqlQuery() 方法指定的。该方法以表的形式返回 SELECT 语句（或 VALUES 语句）的结果。 Table 可以在后续的 SQL 和 Table API 查询中使用、转换为 DataStream 或写入 TableSink。 SQL 和 Table API …

Flink系列之：Savepoints

Flink系列之：Savepoints 一、Savepoints二、分配算子ID三、Savepoint 状态四、算子五、触发Savepoint六、Savepoint 格式七、触发 Savepoint八、使用 YARN 触发 Savepoint九、使用 Savepoint 停止作业十、从 Savepoint 恢复十一、跳过无法映射的状态恢复十二、Resto…

Flink系列之：窗口关联

Flink系列之：窗口关联一、窗口关联二、INNER/LEFT/RIGHT/FULL OUTER三、SEMI四、ANTI五、限制一、窗口关联适用于流、批窗口关联就是增加时间维度到关联条件中。在此过程中，窗口关联将两个流中在同一窗口且符合 join 条件的元素 join 起来。窗口关联…

Flink系列之：Print SQL连接器

Flink系列之：Print SQL连接器一、Print SQL连接器二、创建一张基于Print的表三、连接器参数一、Print SQL连接器 Print 连接器允许将每一行写入标准输出流或者标准错误流。设计目的： 简单的流作业测试。对生产调试带来极大便利。四种 format 选项…

Flink系列之：Table API Connectors之Raw Format

Flink系列之：Table API Connectors之Raw Format 一、Raw Format二、示例三、Format 参数四、数据类型映射一、Raw Format Raw format 允许读写原始（基于字节）值作为单个列。注意: 这种格式将 null 值编码成 byte[] 类型的 null。这样在 ups…

Flink系列之：窗口函数Windowing table-valued functions (Windowing TVFs)

Flink系列之：窗口函数Windowing table-valued functions Windowing TVFs 一、窗口函数二、Tumble Windows三、Hop Windows四、Cumulate Windows四、Window Offset 适用流、批 Windows 是处理无限流的核心。 Windows 将流分割成有限大小的“桶”，我们可以…

Flink系列之：监控反压

Flink系列之：监控反压一、反压二、Task 性能指标三、示例四、反压状态 Flink Web 界面提供了一个选项卡来监控正在运行 jobs 的反压行为。一、反压如果你看到一个 task 发生反压警告（例如： High），意味着它生产数…

Flink系列之：大状态与 Checkpoint 调优

Flink系列之：大状态与 Checkpoint 调优一、概述二、监控状态和 Checkpoints三、Checkpoint 调优四、RocksDB 调优五、增量 Checkpoint六、RocksDB 或 JVM 堆中的计时器七、RocksDB 内存调优八、容量规划九、压缩十、Task 本地恢复十一、主要（分布式存储…

Flink系列之：窗口Top-N

Flink系列之：窗口Top-N 一、窗口Top-N二、示例：在窗口聚合后进行窗口 Top-N三、在窗口表值函数后进行窗口 Top-N四、限制一、窗口Top-N 适用于流、批一体窗口 Top-N 是特殊的 Top-N，它返回每个分区键的每个窗口的N个最小或最大值。与普通To…

Flink系列之：Upsert Kafka SQL 连接器

Flink系列之：Upsert Kafka SQL 连接器一、Upsert Kafka SQL 连接器二、依赖三、完整示例四、可用元数据五、键和值格式六、主键约束七、一致性保证八、为每个分区生成相应的watermark九、数据类型映射一、Upsert Kafka SQL 连接器 Scan Source: Unbounded 、Sink…

Flink系列之：Apache Kafka SQL 连接器

Flink系列之：Apache Kafka SQL 连接器一、Apache Kafka SQL 连接器二、依赖三、创建Kafka 表四、可用的元数据五、连接器参数六、特性七、Topic 和 Partition 的探测八、起始消费位点九、有界结束位置十、CDC 变更日志（Changelog） Source十一…

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态一、状态的瞬态性质二、用于持续清理应用程序状态的状态 TTL三、倒垃圾四、保持完整状态快照干净五、堆状态后端的增量清理六、RocksDB 后台压缩以过滤掉过期状态七、…

Flink系列之：背压下的检查点

Flink系列之：背压下的检查点一、Checkpointing under backpressure二、缓冲区 Debloating三、非对齐 Checkpoints四、对齐 Checkpoint 的超时五、限制六、故障排除一、Checkpointing under backpressure 通常情况下，对齐 Checkpoint 的时长主要受 Che…