Docker集群中的Spark和Kafka 此构建基于以下文章： : 由编写，然后进行了调整和扩展以包括Spark Streaming和PySpark兼容性。 两个节点的群集和一个spark主节点被构建为Docker映像以及单独的JupyterLab环境。 每个服务器都在单独的容器中运行，并共享一个网络和共享的文件系统。 Spark和Hadoop配置和发布信息 Spark版本2.4.5用于确保与PySpark和Kafka的兼容性，并启用与PySpark兼容的Spark流。 Hadoop版本