Datalake ETL管道 简化了任何数据平台的数据转换。 Features:该软件包具有完整的ETL过程- 使用元数据，转换和数据模型信息来设计ETL管道 建立目标转换SparkSQL和Spark Dataframes 构建源和目标Hive DDL 验证DataFrames，扩展核心类，定义DataFrame转换并提供UDF SQL函数。 支持ETL管道的以下基本转换- 过滤源和目标数据框 在源和目标数据帧上进行分组和聚合 大量嵌套的查询/数据框 具有复杂且高度嵌套的XML，JS