在spark中應用saveAsCSVFile操作後，在紗線中提交作業時不會發生任何事情

Question

我在紗線客戶端中提交了一個spark工作（通過jar）

./spark-submit --class main.MainClass --master yarn-client --driver-memory 4g --executor-memory 4g --num-executors 4 --executor-cores 2 job.jar <other_args> 

現在我在我的jar中有以下代碼;

dataset.write().mode("overwrite").csv(/the/file/path/) 

我越來越像日誌;

17/03/22 02:44:26 INFO scheduler.DAGScheduler: ResultStage 2 (csv at SaveAsCSVFileAction.java:53) finished in 1.948 s 
17/03/22 02:44:26 INFO scheduler.DAGScheduler: Job 2 finished: csv at SaveAsCSVFileAction.java:53, took 2.044570 s 

但我沒有得到我的結果/的/文件/路徑/

/的/文件/路徑/是計算機的絕對路徑，例如/ home/somename /桌面/ resultDump

你能給我一個暗示我做錯了什麼嗎？

Answer 1

其實我終於明白，本地文件路徑不能從紗線簇內部訪問。所以更改hdfs：//主機：端口/路徑運作良好。