在前文中，我们使用Docker-Compose完成了hdfs集群的构建。本文将继续使用Docker-Compose，实现Spark集群的搭建。,对于Spark集群，我们采用一个mater节点和两个worker节点进行构建。其中，所有的work节点均分配1一个core和 1GB的内存。,Docker镜像选择了bitnami/spark的开源镜像，选择的spark版本为2.4.3，docker-compose配置如下：,在master节点中，也映射了一个/python目录，用于存放pyspark代码，方便运行。,对于master节点，暴露出7077端口和8080端口分别用于连接spark以及浏览器查看spark UI，在spark UI中，集群状态如下图（启动后）：,
,如果有需要，可以自行添加worker节点，其中可以修改
SPARK_WORKER_MEMORY与
SPARK_WORKER_CORES对节点分配的资源进行修改。,对于该镜像而言，默认exec进去是无用户的，会导致一些安装命令权限的不足，无法安装。例如需要运行pyspark，可能需要安装numpy、pandas等库，就无法使用pip完成安装。而通过
user: root就能设置默认用户为root用户，避免上述问题。,同上文一样，在docker-compose.yml的目录下执行
docker-compose up -d命令，就能一键构建集群（但是如果需要用到numpy等库，还是需要自己到各节点内进行安装）。,进入master节点执行
spark-shell，成功进入：,
,将上文的Hadoop的docker-compose.yml与本次的结合，得到新的docker-compose.yml：,运行集群(还需要一个hadoop.env文件见上文)长这样：,
,通过Docker容器的映射功能，将本地文件与spark集群的master节点的/python进行了文件映射，编写的pyspark通过映射可与容器中进行同步，并通过docker exec指令，完成代码执行：,
,运行了一个回归程序，集群功能正常：,
,
