Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web user interface to maintain and track your workflows.

Azkaban是一套简单的任务调度服务,整体包括三部分webserver、dbserver、executorserver。
Azkaban是linkin的开源项目,开发语言为Java。
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。
Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Features
Compatible with any version of Hadoop
Easy to use web UI
Simple web and http workflow uploads
Project workspaces
Scheduling of workflows
Modular and pluginable
Authentication and Authorization
Tracking of user actions
Email alerts on failure and successes
SLA alerting and auto killing
Retrying of failed jobs

兼容任何版本的 Hadoop
易于使用的网络用户界面
简单的 Web 和 http 工作流上传
项目工作区
工作流调度
模块化和可插件化
认证和授权
跟踪用户操作
关于失败和成功的电子邮件警报
SLA 警报和自动终止
重试失败的作业

Azkaban由三部分构成:
1、DB(Mysql)
  azkaban将大多数状态信息都存于MySQL中,Azkaban Web Server 和 Azkaban Executor Server也需要访问DB。
2、Azkaban Web Server
  提供了Web UI,是azkaban的主要管理者,包括 project 的管理,认证,调度,对工作流执行过程的监控等。
3、Azkaban Executor Server
  调度工作流和任务,纪录工作流活任务的日志,之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐