本文共 1095 字,大约阅读时间需要 3 分钟。
是由领英公司实现,用于在处理ETL任务时,解决多个Hadoop job运行依赖关系。如Hadoop MR job,Spark job,hive 任务等
初期是以单台服务器进行提供服务,但是存在单点故障的问题。随着发展,出现了高可用的解决方案,增加了Azkaban任务调度的鲁棒性
架构设计
1.项目管理2.保存job/flow作业修改状态,3.执行job/flow4.搜索以及查看之前的job或flow5.存储azkaban job运行输出的日志6.维护不同executor执行flow的状态7.保证SLA安全访问验证
1.用于执行job的Executor服务的扩展2.Executor执行job的故障恢复3.在升级azkaban时,降低对用户的影响及使用难度。
转载地址:http://gqjzb.baihongyu.com/