数据湖 介绍 音乐流初创公司Sparkify进一步扩大了用户群和歌曲数据库，并希望将其数据仓库移至数据湖。 他们的数据位于S3中，位于应用程序上有关用户活动的JSON日志目录中，以及位于应用程序中的歌曲上的具有JSON元数据的目录中。 我建立了一个ETL管道，该管道从S3提取数据，使用Spark进行处理，并将数据作为一组维表加载回S3。 这将使他们的分析团队能够继续发现用户正在听哪些歌曲的见解。 项目描述 在此项目中，我为S3上托管的数据湖构建了ETL管道。 数据从S3加载，使用Spark处理