Apache Spark

Apache Spark是一个分布式数据处理引擎，它在内存中执行计算，对于许多工作负载来说，它比早期的MapReduce等工具快得多。它通过一个统一的框架支持批处理、流处理、机器学习和图处理。架构师通常为需要速度和灵活性的大规模分析管道选择Spark。