0
A
回答
2
除非在同一路徑下的所有員工中都有相同的文件,否則無法加載本地文件。例如,如果要讀取spark中的data.csv文件,請將此文件複製到同一路徑下的所有worker(例如/tmp/data.csv)。現在你可以使用sc.textFile(「file:///tmp/data.csv」)來創建RDD。
當前工作目錄是您已啓動pyspark的文件夾。您可以使用ipython啓動pyspark並運行pwd命令來檢查工作目錄。 [在spark-env.sh中設置PYSPARK_DRIVER_PYTHON =/path/to/ipython以使用ipython]
相關問題
- 1. 如何讓UITableView顯示當前項目?
- 2. Emacs:如何在框架欄中顯示當前目錄?
- 3. 如何只顯示當前目錄和git分支?
- 4. 如何設置node.js終端以始終顯示當前目錄
- 5. 如何顯示不在當前目錄中的圖像
- 6. 當前目錄顯然不是當前目錄
- 7. SQL Plus:如何更改目錄並顯示當前工作目錄
- 8. 爲什麼QFileDiaglog方法目錄不顯示當前目錄?
- 9. 如何顯示當前周?
- 10. 如何顯示當前值?
- 11. 當前目錄
- 12. 查找當前目錄和子目錄包括當前目錄
- 13. 如何更改我的tcsh提示以顯示我當前的工作目錄?
- 14. 命令提示符在提示符前不顯示當前目錄
- 15. Pyspark:顯示
- 16. 在當前目錄
- 17. 從當前目錄
- 18. 的Git顯示當前參考目錄中的文件到上面的目錄
- 19. 如何讓dirent忽略當前目錄?
- 20. 如何更改當前工作目錄
- 21. 如何獲得當前工作目錄
- 22. 如何更改SBCL的當前目錄?
- 23. 如何使os.walk改變當前目錄
- 24. 如何指定Docker的當前目錄?
- 25. 如何獲取當前用戶目錄?
- 26. AllFileSelector。如何排除當前目錄
- 27. 如何設置當前工作目錄?
- 28. 如何「選擇」當前目錄?
- 29. 如何獲取當前目錄?
- 30. 顯示當前數據庫記錄