我有一個激活身份驗證的datastax羣集4.8(Cassandra + Spark)。我希望能夠使用Spark master和我的數據庫Cassandra在集羣上使用notebook Zeppelin。Datastax Spark Zeppelin身份驗證
我下載了Zeppelin的二進制包0.5.6。我把它放在我的服務器上。如果我用默認conf啓動它(./bin/zeppelin-daemon.sh start),它工作正常http://ServerName:8080/#/。
但是,當我想用我的DSE火花主人,結果輸出爲:
java.net.ConnectException:連接在 的Java不肯 java.net.PlainSocketImpl.socketConnect(本機方法) .net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:344) 在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) 在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) 在java的.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) org.apache.thrift.transport.TSocket.open(TSocket.java:182)at org.apache.zeppelin.interpreter.remote.ClientFactory java.net.Socket.connect(Socket.java:579) 。創建(ClientFactory.java:51) 在 org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:37) 在 org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java: 60) 在 org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在 org.apache.commons.pool2.imp l.GenericObjectPool.borrowObject(GenericObjectPool.java:363) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter。的init(RemoteInterpreter.java:129) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java: 104) 在org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:198) 在org.apache.zeppelin.scheduler.Job.run(Job.java:169)在 org.apache.zeppelin。 scheduler.RemoteScheduler $ JobRunner.ru N(RemoteScheduler.java:322) 在 java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) 在java.util.concurrent.FutureTask.run(FutureTask.java:262)在 的java .util.concurrent.ScheduledThreadPoolExecutor $ $ ScheduledFutureTask.access 201(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor中$ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) 在 java.util.concurrent.ThreadPoolExecutor中。 runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread。Java的:745)
這似乎是筆記本電腦無法連接到火花主,我通常用
$> DSE -U「用戶名」 -p「密碼」火花
調用
我不知道這是問題,但我不知道在哪裏設置這些參數xD。
有關信息,我設置/zeppelin-0.5.6-incubating-bin-all/conf/zeppelin-env.sh有:
export MASTER=spark://ip_of_my_server:7077
export ZEPPELIN_MEM=-Xmx5g
,因爲它的真實建議拉Hello world in zeppelin failed上述請求ZEPPELIN-305(但我不認爲這是問題,因爲這個請求在0.5.6關閉)
個export SPARK_HOME=/usr/share/dse/spark
含:
斌
數據
LIB
蟒蛇
RELEASE
sbin目錄
火花jobserver
我雖然把 「火花:// ip_of_my_server:7077」,在「掌握「解釋器界面上的字段。
那麼你有任何想法解決我的問題,並連接DSE火花和齊柏林:)?
我在齊柏林根labgsd2t.out發現: '無法找到在/ usr /星火總成分享/ DSE /火花/ lib目錄下。 您需要在運行此程序之前構建Spark。' 那麼您知道DSE的Spark組件在哪裏嗎? – Nongi