的FileStream集羣給了我一個異常

我寫一個星火使用文件流流應用...的FileStream集羣給了我一個異常

val probeFileLines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP", filterF, false) //.persist(StorageLevel.MEMORY_AND_DISK_SER)

，但我得到異常錯誤文件/ IO..for

16/09/07 10:20:30 WARN FileInputDStream: Error finding new files 
java.io.FileNotFoundException: /mapr/cellos-mapr/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP 
     at com.mapr.fs.MapRFileSystem.listMapRStatus(MapRFileSystem.java:1486) 
     at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:1523) 
    at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:86)

雖然該目錄存在於我的羣集中。

我使用的火花運行我的工作提交

spark-submit --class "StreamingEngineSt" target/scala-2.11/sprkhbase_2.11-1.0.2.jar

來源

2016-09-07 Luckylukee

這可能與文件權限或所有權（可能需要HDFS的用戶）。

來源

2016-09-07 06:18:50

當我使用.. val probeFileLines = ssc.fileStream [LongWritable，Text，TextInputFormat]（「hdfs：//data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP」，filterF，false）..它給了我java.lang.IllegalArgumentException：java.net.UnknownHostException：數據源可以有人給我提示正確使用該參數..我不認爲這是由於權限或所有權 – Luckylukee

的FileStream集羣給了我一個異常

回答

相關問題