當我使用docker啓動spark-notebook並創建新工作表時。我下次開始時,工作表不在那裏。未用Docker保存的Spark筆記本工作表
這裏的命令:
docker run -v /Users/pkerp/projects/chairliftplot/:/mnt -p 9000:9000 andypetrella/spark-notebook:0.2.0-spark-1.2.0-hadoop-1.0.4
這裏的警告/信息:
15/02/09 08:38:12 WARN Remoting: Tried to associate with unreachable remote address [akka.tcp://[email protected]:41602]. Address is now gated for 5000 ms, all messages to this address will be delivered to dead letters. Reason: Connection refused: /127.0.0.1:41602
15/02/09 08:38:12 INFO remote.RemoteActorRefProvider$RemoteDeadLetterActorRef: Message [akka.remote.RemoteWatcher$Heartbeat$] from Actor[akka://NotebookServer/system/remote-watcher#-457307005] to Actor[akka://NotebookServer/deadLetters] was not delivered. [8] dead letters encountered. This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'.
這是一個錯誤配置的問題還是其他什麼東西?
編輯:
所以這個問題有幾個方面吧。
- 當使用ctrl-c關閉正在運行的docker容器時,它實際上仍然存在。當我使用上面的命令重新運行它時,它會啓動一個不包含新創建的筆記本的單獨的新容器。
這可以通過在運行容器列表中尋找使用docker ps
,找到一個運行和連接它使用docker attach process_id
得以緩解。數據仍然存在。
- 使用安裝的卷存儲筆記本電腦以導致權限問題。安裝在容器中的目錄只具有所有者寫入權限,其中所有者是用戶。火花筆記本以用戶守護程序(用戶標識號)運行。
這是關於此問題的長篇帖子on github,,但沒有明確的解決方案。