2015-10-15 31 views
-1

我不知道在不同的預建版火花之間的區別,比如爲2.4 hadoop和之後的2.3版本以及hadoop預置。這個差別告訴我們 火花版是否需要指定種類的hadoop版本,比如2.4和2.3。 對不起,我的英語很差。如果不明白我的問題,希望你告訴我。 想你。不同預構建火花版本有什麼區別

回答

0

我想爲Hadoop 2.4及其後續版本使用自己的hadoop hdfs文件系統預先構建apache spark分發。此文件系統在該文件中。但另一個選項沒有hadoop文件系統,這將使用hadoop文件系統它已經在你的電腦裏了。我希望使用理解,如果你將用於測試,你應該安裝預先構建。 有一個愉快的日子:)

+0

謝謝你,我還是有一點question.your意味着如果我使用預編譯Apache 2.4火花和後期,我不需要在我computer.Is安裝的Hadoop文件系統對? – yaowin

+0

是的,我有hadoop和火花,但我的火花不使用hadoop文件系統在我的電腦。 –

+0

對不起,我想了解更多關於如何使用預先構建的apache spark 2.4及更高版本的hdfs。如果我想從自己的hdfs中讀取文件或在spark文件中找到該文件,我該怎麼辦?謝謝! – yaowin

相關問題