Spark

Apache Spark 是一个用于大规模批处理和流式工作负载的分布式数据处理引擎。它在集群内存中处理数据，对于迭代计算比 MapReduce 快得多。Spark 支持 Python (PySpark)、Scala、SQL，并提供机器学习 (MLlib) 和图处理的库。