Airflow

Airflow是一个用于编程式创建、调度和监控工作流的平台。使用Airflow将工作流作为任务的有向无环图（DAG）进行编写。Airflow调度器在一系列工作器上执行您的任务，同时遵循指定的依赖关系。丰富的命令行工具使得对DAG进行复杂操作变得轻而易举。丰富的用户界面使得可视化生产中的管道运行、监控进度以及在需要时排查问题变得容易。当工作流以代码形式定义时，它们变得更加可维护、可版本控制、可测试和协作。