我正在docker容器中的纱线模式下使用本教程的火花群集在纱线模式下的火花群集中启动齐柏林飞艇。但是我陷入了第4步。我在Docker容器中找不到conf / zeppelin- env.sh来进行进一步的配置。我尝试将这些齐柏林飞艇的conf文件夹放入,但是现在成功了。除了那个齐柏林飞艇笔记本电脑也没有运行在本地主机上:9001。
我对分布式系统非常陌生,如果有人可以帮助我以纱线模式在火花簇上启动齐柏林飞艇,那就太好了。
这是我的docker-compose文件,用于通过星火群集启用Zeppelin Talk。
version: '2' services: sparkmaster: build: . container_name: sparkmaster ports: - "8080:8080" - "7077:7077" - "8888:8888" - "8081:8081" - "8082:8082" - "5050:5050" - "5051:5051" - "4040:4040" zeppelin: image: dylanmei/zeppelin container_name: zeppelin-notebook env_file: - ./hadoop.env environment: ZEPPELIN_PORT: 9001 CORE_CONF_fs_defaultFS: "hdfs://namenode:8020" HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020" SPARK_MASTER: "spark://spark-master:7077" MASTER: "yarn-client" SPARK_HOME: spark-master ZEPPELIN_JAVA_OPTS: >- -Dspark.driver.memory=1g -Dspark.executor.memory=2g ports: - 9001:9001 volumes: - ./data:/usr/zeppelin/data - ./notebooks:/usr/zeppelin/notebook
这是您用来启动独立Spark集群的dockerfile。
但是容器内没有Zeppelin实例,因此您必须在本地计算机上使用Zeppelin。
请下载并使用它。