您当前的位置: 首页 >  分布式

Azkaban 分布式任务调度部署实战

蔚1 发布时间:2019-03-13 23:30:05 ,浏览量:4

随着公司业务规模扩大,运营需要各种数据进行指导运营策略;产品需要各种数据需要指导产品工作;研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Crontab 模式很难满足现有任务调度,急需一个批量工作流任务调度器,以一个特定的顺序运行一组工作和流程,一种 KV 文件格式来建立任务之间的依赖关系,并提供一个易于使用的 Web 用户界面维护和跟踪你的工作流。

Azkaban 恰恰是这样一种工具,只需要了解相关配置及语法规则,数据工程师就可以完成大数据的任务调度开发。

本次分享的主要内容如下:

  • Azkaban 任务调度器简介;
  • 零基础搭建分布式 Azkaban;
  • 如何实现 Project 之间的依赖;
  • 如何进行开发任务插件(实战任务失败钉钉报警, PagerDuty 电话报警)。

作者:周祥超,火币研发中心数据平台组团队负责人,前 BAT 之一的数据研发团队 Leader。长期在互联网与金融领域从事一线数据平台的规划设计、实现、开发以及管理工作,擅长大数据相关技术、高可用组件开发、搜索系统架构,性能优化等。

阅读全文: http://gitbook.cn/gitchat/activity/5c7e31ae37194c7664948d94

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。

FtooAtPSkEJwnW-9xkCLqSTRpBKX

关注
打赏
1688896170
查看更多评论

蔚1

暂无认证

  • 4浏览

    0关注

    4645博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0822s