日食上的Apache火花

我問的問題被標記爲過於寬泛。經過多次搜索後，我的基礎知識更加清晰。所以希望我現在會更具體。基本上我試圖運行在Eclipse而不是在終端上給出的示例示例。我的第一個疑問已經被正確回答了。使用setMaster（「本地」）。我得到了運行示例，它顯示的輸出相當正確。現在，如果我現在將它更改爲setMaster（「yarn-client」），它將連接到紗線，同時提交作業然後運行它，但最終我得到classnotfoundexception並因此減少未完成。如果我想使用紗線客戶端，我是否需要爲我的類添加一些額外的規範，以便我不會得到classnotfoundexception。在整個過程中，我在我的Spark版本中使用了內置的JavaPiSpark示例程序。任何幫助或建議是受歡迎的。日食上的Apache火花

來源

2014-09-29 hunters30

能否請您提供設置Eclipse來運行你的火花項目的步驟？我對這件事情很陌生，這讓人難以置信。 – Jack 2015-12-09 10:49:12

您應該使用JavaSparkContext .setMaster("local")在您的本地計算機上運行，或將「本地」替換爲特定的主URL以在羣集上運行。

請參考spark programming guide - initializing-spark和master-urls

來源

2014-09-29 20:44:40 MatrixZ

Thanx的答案讓我得到在本地運行的例子。所以我會按照我的原始問題標記它是正確的。我現在也編輯了我的問題，以便更具體，因爲我可以 – hunters30 2014-09-30 15:21:18

您需要特定的羣集主節點的URL以在羣集上運行。像'.setMaster（「spark：//ec2-12-123-12-123.compute-1.amazonaws.com：7077」）'。 – MatrixZ 2014-10-02 00:43:59

日食上的Apache火花

回答

相關問題