2016-05-25 93 views
1

我有一個激活身份驗證的datastax羣集4.8(Cassandra + Spark)。我希望能夠使用Spark master和我的數據庫Cassandra在集羣上使用notebook ZeppelinDatastax Spark Zeppelin身份驗證

我下載了Zeppelin的二進制包0.5.6。我把它放在我的服務器上。如果我用默認conf啓動它(./bin/zeppelin-daemon.sh start),它工作正常http://ServerName:8080/#/

但是,當我想用​​我的DSE火花主人,結果輸出爲:

java.net.ConnectException:連接在 的Java不肯 java.net.PlainSocketImpl.socketConnect(本機方法) .net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:344) 在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) 在 java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) 在java的.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) org.apache.thrift.transport.TSocket.open(TSocket.java:182)at org.apache.zeppelin.interpreter.remote.ClientFactory java.net.Socket.connect(Socket.java:579) 。創建(ClientFactory.java:51) 在 org.apache.zeppelin.interpreter.remote.ClientFactory.create(ClientFactory.java:37) 在 org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java: 60) 在 org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861) 在 org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) 在 org.apache.commons.pool2.imp l.GenericObjectPool.borrowObject(GenericObjectPool.java:363) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient(RemoteInterpreterProcess.java:139) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter。的init(RemoteInterpreter.java:129) 在 org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getFormType(RemoteInterpreter.java:257) 在 org.apache.zeppelin.interpreter.LazyOpenInterpreter.getFormType(LazyOpenInterpreter.java: 104) 在org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:198) 在org.apache.zeppelin.scheduler.Job.run(Job.java:169)在 org.apache.zeppelin。 scheduler.RemoteScheduler $ JobRunner.ru N(RemoteScheduler.java:322) 在 java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:471) 在java.util.concurrent.FutureTask.run(FutureTask.java:262)在 的java .util.concurrent.ScheduledThreadPoolExecutor $ $ ScheduledFutureTask.access 201(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor中$ ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292) 在 java.util.concurrent.ThreadPoolExecutor中。 runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor $ Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread。Java的:745)

這似乎是筆記本電腦無法連接到火花主,我通常用

$> DSE -U「用戶名」 -p「密碼」火花

調用

我不知道這是問題,但我不知道在哪裏設置這些參數xD。

有關信息,我設置/zeppelin-0.5.6-incubating-bin-all/conf/zeppelin-env.sh有:

  • export MASTER=spark://ip_of_my_server:7077

  • export ZEPPELIN_MEM=-Xmx5g,因爲它的真實建議拉Hello world in zeppelin failed上述請求ZEPPELIN-305(但我不認爲這是問題,因爲這個請求在0.5.6關閉)

  • export SPARK_HOME=/usr/share/dse/spark含:


數據
LIB
蟒蛇
RELEASE
sbin目錄
火花jobserver

我雖然把 「火花:// ip_of_my_server:7077」,在「掌握「解釋器界面上的字段。

那麼你有任何想法解決我的問題,並連接DSE火花和齊柏林:)?

+0

我在齊柏林根labgsd2t.out發現: '無法找到在/ usr /星火總成分享/ DSE /火花/ lib目錄下。 您需要在運行此程序之前構建Spark。' 那麼您知道DSE的Spark組件在哪裏嗎? – Nongi

回答

0

一些echanges與Datastax專家Duy Hai Doan

我得到一個解決方案,我建議你去他的博客http://www.doanduyhai.com/blog/?p=2325

而對於認證的詳細信息,請給解釋參數,並添加:

  • 對於卡桑德拉

cassandra.hosts: 「YourNodeIP」

cassandra.credentials.username: 「YourUserName」

cassandra.credentials。密碼: 「你的密碼」


  • 火花

spark.cassandra.auth.password: 「你的密碼」

spark.cassandra.auth.username :「YourUserName」

spark.cassandra.connection.host: 「YourSparkMasterIP」

非常感謝給Datastax和維戰