您当前的位置: 首页 >  ar

Bulut0907

暂无认证

  • 7浏览

    0关注

    346博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Flink将application发布到生产环境前需要注意的事项(setMaxParallelism、uuid、State Backend、Checkpoint interval、HA集群)

Bulut0907 发布时间:2022-02-13 23:29:25 ,浏览量:7

目录
  • 1. application未来能扩展到的最大parallelism
  • 2. 为DataStream的所有operator设置uuid
  • 3. 选择合适的State Backend
  • 4. 选择合适的Checkpoint时间间隔
  • 5. 搭建一个高可用HA集群,保证JobManager高可用

1. application未来能扩展到的最大parallelism

默认的值由application第一次启动时决定:

  1. 如果所有operator的最大parallelism小于等于128,则默认值等于128
  2. 否则默认值 = MIN(nextPowerOfTwo(parallelism + (parallelism / 2)), 2^15),其中nextPowerOfTwo取值规则是,比如nextPowerOfTwo(1000), 最接近的2的指数是2 ^10 = 1024,所以nextPowerOfTwo(1000) = 1024

控制application能扩展的最大parallelism的原因是,为了application的性能

指定的粒度为application、operator,通过setMaxParallelism(maxParallelism: Int)进行指定,指定范围为0 < parallelism

关注
打赏
1664501120
查看更多评论
立即登录/注册

微信扫码登录

0.1937s