Dask

Dask 是一个用于 Python 的并行计算库，可将 Pandas、NumPy 和 Scikit-learn 扩展到大于内存的数据集。它将数据拆分为块，并构建一个惰性执行的任务图。Dask DataFrames 与 Pandas API 类似，使其能够轻松地通过切换生态系统来适配现有代码以处理更大的数据集。