登录
Flink源码阅读：如何生成ExecutionGraph - Jackeyzhe
【摘要】今天我们一起来了解 Flink 最后一种执行图，ExecutionGraph 的执行过程。 基本概念 在阅读源码之前，我们先来了解一下 ExecutionGraph 中的一些基本概念。 ExecutionJobVertex: ExecutionJobVertex 是 ExecutionGraph 中 阅读全文
阅读视图
Flink源码阅读：如何生成JobGraph - Jackeyzhe
【摘要】前文我们介绍了 Flink 的四种执行图，并且通过源码了解了 Flink 的 StreamGraph 是怎么生成的，本文我们就一起来看下 Flink 的另一种执行图——JobGraph 是如何生成的。 阅读全文
Flink源码阅读：如何生成StreamGraph - Jackeyzhe
【摘要】Flink 中有四种执行图，分别是 StreamGraph、JobGraph、ExecutionGraph 和 Physical Graph。今天我们来看下我们编写的 Flink 程序代码是如何生成 StreamGraph 的。 阅读全文
Flink学习笔记：反压 - Jackeyzhe
【摘要】今天来聊在 Flink 运维过程中比较常见的一个问题：反压。 什么是反压 反压是流式系统中关于数据处理能力的动态反馈机制，并且是从下游到上游的反馈，一般发生在上游节点的生产速度大于下游节点的消费速度的情况。 数据如何传输 在了解反压的细节之前，首先要知道 Flink 中数据是如何传输的。在 Flin 阅读全文
Flink学习笔记：状态后端 - Jackeyzhe
【摘要】我们继续来聊 Flink 容错相关的内容。前面在介绍 Checkpoint 和 Savepoint 时提到了 State 的稳定存储，那究竟如何存储以及存储在什么地方呢？相信通过读完本文之后，你会有答案。 阅读全文
Flink学习笔记：如何做容错 - Jackeyzhe
【摘要】现在我们已经了解了 Flink 的状态如何定义和使用，那 Flink 是如何做容错的呢？今天我们一起来了解一下。 先来回答问题， Flink 是通过状态快照来做容错的，在 Flink 中状态快照分为 Checkpoint 和 Savepoint 两种。 Checkpoint Checkpoint 是 阅读全文
Flink学习笔记：状态类型和应用 - Jackeyzhe
【摘要】Flink 被广泛应用的原因，除了我们前面提到的对时间以及窗口的应用之外，另一点就是它强大的容错机制，以及对 Exactly Once 的支持。 阅读全文