测试

数据工程中的测试涉及验证管道、转换和数据输出是否按预期工作。这包括对单个函数进行单元测试、对管道组件进行集成测试，以及对输出数据本身进行数据质量测试。经过充分测试的管道可以尽早捕获回归问题，并建立对传递给消费者的数据可靠性的信心。