Apache Airflow

Apache Airflow 是一个开源工具，帮助您安排、组织和监控工作流。您可以将其视为数据任务的待办事项清单，但更智能——您可以设置任务按特定顺序运行、跟踪其进度，并查看如果出现故障会发生什么。它通常用于自动化数据管道，以便数据能够自动移动、被处理并准备好使用，无需人工干预。