消息传递的Flink状态函数地址解析

即使使用有状态函数,底层Flink作业的拓扑在作业启动时也是固定的。每个有状态函数作业都或多或少地使用类似于此的作业图(入口不同,但其余的总是这样):

路由器变成了与这些源链接在一起的flatmap运营商。

作为路由器的平面图将输入消息转换为内部事件信封,从而 实际上,只需将消息负载与其目标逻辑地址包装在一起。信封是 所有流经流图的消息的有线数据类型。 有状态函数运行时以函数分派器操作符为中心, 它跨所有模块运行所有加载函数的实例。

在router flatmap操作符和function dispatcher操作符之间是一个keyBy操作 id 作为关键。这个 身份证件 被送到同一个地方 函数分派运算符的实例。

收到后,函数调度器从信封中提取目标函数地址,然后加载 信封)。

这是通过将每个函数调度器与 反馈运算符 所有传出的消息都使用target函数通过另一个网络洗牌 身份证件 作为关键。

,在作业图中。有状态函数在其消息传递模式中可以有循环,也可以有循环,并且不限于使用DAG处理数据。

反馈通道 已检查 ;消息在发生故障时不会丢失。

Stateful Functions: Polyglot Event-Driven Functions for Stateful Distributed Applications . 上面的数字来自他的谈话。