我想在我們的8個節點羣集上設置Kafka和Spark與Mesos如下,但有啓動/啓動Mesos Salve使用Mesos主人zookeeper端點的問題。問題使用相同的動物園管理員卡夫卡和Mesos
1)安裝並上3個節點(server00,SERVER01,Server02上)(設置動物園管理員通過$ KAFKA_HOME /配置/ zookeeper.properties)
2)安裝所有8個節點上卡夫卡經紀人(和通過在其$ KAFKA_HOME /配置/ server.properties)設置以下屬性它指向3名飼養員
zookeeper.connect=server00:2181,server01:2181,server02:2181
3)3沒有安裝Mesos主DES(server00,SERVER01,Server02上),並用下面的行更新的/ etc/mesos/ZK:
zk://server00:2181,server01:2181,server02:2181/mesos
4)所有8個節點上安裝Mesos從站。
5)編輯/etc/mesos/zk文件在所有其他服務器上有以下行。
zk://server00:2181,server01:2181,server02:2181/mesos
6)如以下(確認所有Mesos主正在運行和可用通過啓動http://server00:5050/#/,http://server01:5050/#/,http://server02:5050/#/
sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos
7)上的所有啓動Mesos從所有3臺主服務器上的開始Mesos主8臺服務器。 在服務器上啓動此示例00:
sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150
但上面不啓動slave/agent。
但是,下面的命令會讓我覺得主人可能沒有獲得動物園管理員的註冊。
sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150
誰能棚任何光以 1)我的配置是否是不正確的或 2)如果非要爲Mesos集羣設置單獨的飼養員? 3)如何驗證Mesos主人是否正在使用zookeeper註冊?
一旦這個設置工作,我打算在所有8個節點上運行Spark。
你是正確的。'/ etc/mesos/zk'和其他文件下的配置在我的情況下沒有被讀取(使用Red Hat Linux),並使用'--zk = zk:// server00:2181,server01:2181,server02啓動Mesos Master :2181/mesos'選項修復了這個問題。謝謝!! – Deeps