Marquez是一个开源元数据服务，用于数据生态系统元数据的收集，聚合和可视化。 它维护了数据集的消费和生产方式的出处，提供了作业运行时间和数据集访问频率的全局可见性，数据集生命周期管理的集中化等等。 Marquez由发布并开源。 徽章 状态 Marquez是一个孵化项目，正在积极开发中，我们将竭诚为您服务！ 快速开始 Marquez提供了一种简单的方法来收集和查看数据集和作业元数据。 建立和运行的最简单方法是使用Docker。 在Marquez存储库的基础上运行： $ ./docker/u

开放世系 概述 OpenLineage是元数据和沿袭集合的开放标准，旨在在作业运行时对其进行检测。 它定义了使用一致的命名策略识别的运行，作业和数据集实体的通用模型。 核心谱系模型可通过定义特定方面来扩展这些实体来扩展。 问题 前 重复工作：每个项目都必须检测所有工作 集成是外部的，可能会因新版本而中断 使用OpenLineage 整合的努力是共享的 可以在每个项目中推动集成：无需再追赶 范围 OpenLineage定义用于运行作业和相应事件的元数据。 可配置的后端允许选择将事件发送到的协议。