一种分布式环境下自适应分页算法实现

随着业务的数据量越来越大，发现我们的批量任务执行需要的时间越来越久，为了让任务在合理的时间内完成，我们很多时候会选择加服务器，即部署更多的服务器来执行这个任务，但是随着服务器数量的增多，往往又暴露出另外一个问题，如何将任务合理的分割成不同的单元让不同的服务器来执行呢？这样我们有什么办法来让各个服务器自己“力所能及”的执行任务，来让任务尽可能快的完成？

本文将介绍一种分布式环境的自适应分页算法来解决这一难点。它不仅可以规避数据倾斜，环境差异给我们带来的任务合理分割带来的难度，而且执行动态扩展，添加新的服务器，不需要重新规划任务，就能自动调整每台服务其的任务量。

本文包含的内容主要包含以下章节：

1. 大数据量任务分割难点分析
2. 解决方案讨论分析
3. 自适应算法核心思想介绍及代码示例
4. 总结及扩展

阅读全文: http://gitbook.cn/gitchat/activity/5cb2eab1bb79fb5f48c68bbd

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ，阅读更多 GitChat 专享技术内容哦。