达格斯特 Dagster是用于机器学习，分析和ETL的数据协调器 Dagster允许您根据可重用的逻辑组件之间的数据流定义管道，然后在本地进行测试并在任何地方运行。 借助管道及其产生的资产的统一视图，Dagster可以调度和编排Pandas，Spark，SQL或Python可以调用的其他任何方式。 Dagster专为数据平台工程师，数据工程师和全栈数据科学家而设计。 使用Dagster构建数据平台可以使您的利益相关者更加独立，系统也更加强大。 使用Dagster开发数据管道可简化测试并加快部署