Airflow

Apache Airflow 是一个开源平台，用于编写、调度和监控数据管道。管道定义为 Python 中的有向无环图（DAG），其中每个节点是一个任务，边定义依赖关系。Airflow 提供一个 Web 界面，用于监控运行、重试失败任务以及跟踪执行历史。它是生产环境中 Python 数据管道的标准编排工具。