Datastax企業文件系統（DSEFS）：錯誤而星火流

Question

使用我啓用數據STAX企業文件系統

https://docs.datastax.com/en/latest-dse/datastax_enterprise/ana/enablingDsefs.html

我能夠使用DSE FS外殼鏈接下面。我創建了一個文件夾/檢查點。

當我使用這個文件夾作爲一個檢查點目錄火花時（dsefs：// 5598 /關卡）流我收到以下錯誤：

Exception in thread "main" java.io.IOException: No FileSystem for scheme: dsefs 
     at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644) 
     at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651) 
     at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92) 
     at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687) 
     at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669) 
     at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371) 
     at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295) 
     at org.apache.spark.streaming.StreamingContext.checkpoint(StreamingContext.scala:234) 
     at org.apache.spark.streaming.api.java.JavaStreamingContext.checkpoint(JavaStreamingContext.scala:577) 
     at com.sstech.captiveyes.data.streaming.StreamingVisitClassifierMerge.main(StreamingVisitClassifierMerge.java:96) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:498) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

我失去了一些配置步驟。

Answer 1

Hadoop配置的重要組成部分是：

<property> 
    <name>fs.dsefs.impl</name> 
    <value>com.datastax.bdp.fs.hadoop.DseFileSystem</value> 
</property> 

把它放在你的Hadoop core-site.xml文件。或者您可以在Hadoop Configuration對象中設置此屬性。

如果您在DSE節點上運行此項設置，則在啓用工作負載分析時，此設置將在啓動時自動配置爲dse-core-default.xml。因此，它應該與DSE Spark一起開箱即用。

如果您在外部Spark羣集上運行此操作，請閱讀DSE文檔中的自帶Spark部分：https://docs.datastax.com/en/latest-dse/datastax_enterprise/spark/byosIntro.html。它描述瞭如何設置你的Spark不僅可以訪問DSEFS，還可以訪問Cassandra。