目录
1. application未来能扩展到的最大parallelism
- 1. application未来能扩展到的最大parallelism
- 2. 为DataStream的所有operator设置uuid
- 3. 选择合适的State Backend
- 4. 选择合适的Checkpoint时间间隔
- 5. 搭建一个高可用HA集群,保证JobManager高可用
默认的值由application第一次启动时决定:
- 如果所有operator的最大parallelism小于等于128,则默认值等于128
- 否则默认值 = MIN(nextPowerOfTwo(parallelism + (parallelism / 2)), 2^15),其中nextPowerOfTwo取值规则是,比如nextPowerOfTwo(1000), 最接近的2的指数是2 ^10 = 1024,所以nextPowerOfTwo(1000) = 1024
控制application能扩展的最大parallelism的原因是,为了application的性能
指定的粒度为application、operator,通过setMaxParallelism(maxParallelism: Int)
进行指定,指定范围为0 < parallelism
关注
打赏
最近更新
- 深拷贝和浅拷贝的区别(重点)
- 【Vue】走进Vue框架世界
- 【云服务器】项目部署—搭建网站—vue电商后台管理系统
- 【React介绍】 一文带你深入React
- 【React】React组件实例的三大属性之state,props,refs(你学废了吗)
- 【脚手架VueCLI】从零开始,创建一个VUE项目
- 【React】深入理解React组件生命周期----图文详解(含代码)
- 【React】DOM的Diffing算法是什么?以及DOM中key的作用----经典面试题
- 【React】1_使用React脚手架创建项目步骤--------详解(含项目结构说明)
- 【React】2_如何使用react脚手架写一个简单的页面?