2017-02-09 28 views
0

我用--user選項安裝了jupyter,它工作正常。我需要在筆記本中運行spark並從HDFS讀取數據,並且與我的個人用戶一起運行jupyter會在HDFS中創建一個文件權限問題。因此,我決定使用hdfs用戶運行它(我們的羣集已配置爲所有spark工作應該由此hdfs用戶運行),但卻無法找到我個人用戶的/home/myuser/.local文件夾中的依賴關係。有沒有辦法告訴jupyter作爲當前用戶(hdfs)運行,但在另一個用戶的家中尋找二進制文件和依賴關係?與另一個用戶運行用戶本地jupyter安裝

此外,我使用toree作爲網關,如果這可以打開更多的選項。

回答

0

嘗試老Hadoop的絕招:

  • 運行在你自己的用戶
  • 但在星火環境星火會議上,插入一個export HADOOP_USER_NAME=hdfs命令,以便爲hdfs司機寄存器分配紗線執行人時。

(不會當然Kerberos的工作,不過,那時它的認證爲hdfs反對的Kerberos ......的事)

+0

完美。現在我有另一個問題(可能與toree + python有關),但是這個工作完美無瑕 – Chobeat

相關問題