数据摄取是指从各种来源收集、传输和加载数据到可以存储和分析的目标的过程。可以使用多种数据摄取架构来收集来自不同来源的数据并将其加载到数据仓库、数据湖或其他存储系统中。这些架构可以大致分为两类:批处理和实时处理。你选择如何摄取数据将取决于你所处理数据的量、速度和种类,以及你的用例的延迟要求。
Lambda 和 Kappa 架构是两种流行的数据摄取架构,它们结合了批处理和实时处理,以高效地处理大量数据。
用自己的话写下这一站的结论。