Hadoop、Spark 和 MapReduce 是在机器集群上处理大数据集的框架。作为原始模型,MapReduce 将处理分为映射和归约步骤,分布在各个节点上,而 Spark 通过内存处理改进了这一点,性能大幅提升。当系统需要处理单台机器无法处理规模的数据时,架构师会考虑使用这些工具。
用自己的话写下这一站的结论。