spark作为现在主流的分布式计算框架，已经融入到了很多的产品中作为ETL的解决方案。而我们如果想要去测试这样的产品就要对分布式计算的原理有个清晰的认知并且也要熟悉分布式计算框架的使用来针对各种ETL场景设计不同的测试数据。而一般来说我们需要从以下两个角度来进行测试。ETL能兼容各种不同的数据(不同的数据规模，数据分布和数据类型)ETL处理数据的正确性ETL是按一定规则针对数据进行清洗，抽取，转换等一系列操作的简写。那么一般来说他要能够处理很多种不同的数据类型。我们在生产上遇见的bug有很大一部

spark作为现在主流的分布式计算框架，已经融入到了很多的产品中作为ETL的解决方案。 而我们如果想要去测试这样的产品就要对分布式计算的原理有个清晰的认知并且也要熟悉分布式计算框架的使用来针对各种ETL场景设计不同的测试数据。 而一般来说我们需要从以下两个角度来进行测试。ETL能兼容各种不同的数据(不同的数据规模，数据分布和数据类型) ETL处理数据的正确性