gcp-dataflow-cloudbuild

使用Cloud Build部署由GCS，Cloud Functions，Dataflow和BigQuery组成的可伸缩批量提取管道 请参阅cloudbuild.yaml以了解此CI / CD管道的功能。 本质上，它使用Cloud Build为构建的每个步骤运行一个容器，并将管道的每个组件部署到GCP。 它还使用Terraform创建初始存储桶，以将所有二进制文件部署到其中。 有关所有这些废话，请参见infra.tf文件。 看起来是这样的：