在火花集羣模式下運行齊柏林飛艇

我正在使用本教程spark cluster on yarn mode in docker container在飛行模式下的火花集羣中啓動zeppelin。然而我卡在第4步。我找不到在我的碼頭集裝箱conf/zeppelin-env.sh進行進一步的配置。我試圖把這些配置文件夾的齊柏林，但現在成功了。除此之外，齊柏林筆記本電腦也未在localhost：9001上運行。在火花集羣模式下運行齊柏林飛艇

我對分佈式系統非常陌生，如果有人能夠幫助我在紗線模式下啓動Spark Spark上的zeppelin，那將是非常棒的。

這是我的docker-compose文件，用於啓用zeppelin與spark集羣通話。

version: '2' 
services: 
sparkmaster: 
    build: . 
    container_name: sparkmaster 
ports: 
    - "8080:8080" 
    - "7077:7077" 
    - "8888:8888" 
    - "8081:8081" 
    - "8082:8082" 
    - "5050:5050" 
    - "5051:5051" 
    - "4040:4040" 
zeppelin: 
    image: dylanmei/zeppelin 
    container_name: zeppelin-notebook 
env_file: 
    - ./hadoop.env 
environment: 
    ZEPPELIN_PORT: 9001 
    CORE_CONF_fs_defaultFS: "hdfs://namenode:8020" 
    HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020" 
    SPARK_MASTER: "spark://spark-master:7077" 
    MASTER: "yarn-client" 
    SPARK_HOME: spark-master 
    ZEPPELIN_JAVA_OPTS: >- 
    -Dspark.driver.memory=1g 
    -Dspark.executor.memory=2g 
ports: 
    - 9001:9001 
volumes: 
    - ./data:/usr/zeppelin/data 
    - ./notebooks:/usr/zeppelin/notebook

來源

2017-09-11 Rohit Barnwal

這是您用來啓動獨立Spark集羣的dockerfile。

https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

但沒有齊柏林實例的容器內，所以你必須使用齊柏林在本地機器上。

請download並使用它。

來源

2017-09-11 16:28:24 1ambda

我已經使用這個dockerfile https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_yarn_cluster/Dockerfile 雖然這還沒有飛艇，所以我推出了另一個帶有zeppelin碼頭圖像的容器，但無法使zeppelin與spark cluster交談。 –

您必須將它們合併爲一個網絡，否則無法互相連接。例如，你可以讓新的docker-compose文件包含thoese dockerfiles。 – 1ambda

做完了，我已經添加了我的docker-compose文件。上面提到的dockerfile和docker-compose位於同一個文件夾中。但是這啓動了一個容器中只有一個齊柏林的容器。 –

在火花集羣模式下運行齊柏林飛艇

回答

相關問題