分布式 blog

记录技术点滴

0%

Flink 总结

发表于 更新于 分类于 ， ， ，

目录#

总结#

组件#

Runtime [6]#

  • JobMaster AM

    • JobManager
    • ResourceManager
    • Dispatcher

  • TaskManager

    • Task Slot

概念#

  1. 数据流图
  2. 并行度
  3. 算子链
 (1)一对一(One-to-one，forwarding)
    这种关系类似于 Spark 中的窄依赖。
 (2)重分区(Redistributing)
    这种算子间的关系类似于 Spark 中的宽依赖。
  1. 执行图
  2. 任务(Tasks)和任务槽(Task Slots)

Flink Table Store#

Flink Table Store：流批一体存储

Flink CDC#

参考#

  1. Flink架构及其工作原理 ***
  2. <<Flink原理、实战与性能优化>> 张利兵
  3. Flink使用Broadcast State实现流处理配置实时更新
  4. Apache Flink状态管理和容错机制介绍
  5. 尚硅谷 flink(Java) - bilibili
  6. Apache Flink 进阶（一）：Runtime 核心机制剖析 阿里-高赟（云骞） ***
  7. 数据实时化技术创新进展 | 一文览尽 Flink Forward Asia 2022 重磅干货内容 *** 未