PySpark

PySpark 是 Apache Spark（分布式数据处理引擎）的 Python API。它允许 Python 代码在集群上运行 Spark 任务，处理 TB 级别的数据集。PySpark 提供类似 Pandas 的 DataFrame 和 SQL API，并与 MLlib 集成以实现分布式机器学习。当数据量超过 Dask 或单台机器的处理能力时，会使用 PySpark。