Luigi

Luigi是一个功能强大且易于使用的开源框架，用于使用Python构建数据管道。它处理依赖关系解析、工作流管理、可视化等。Luigi有助于构建数据管道，通常与长时间运行的批处理过程相关联。