apache spark實現

Question

我嘗試了很多，找到最好的解決方案來實現apache的火花在我的web應用程序中使用struts2框架的Java。

我有幾臺機器可以用於司機和工人。

我有一個Web應用程序，可以做很多數據庫操作，我希望它可以通過使用hdfs的spark完成。

我可以在本地的單個獨立Java項目上運行spark，但我想將它用作羣集。

我在網上閱讀了很多可用的線程和信息，但我無法找到在集羣上實現它的方式，因此我的應用程序所需的任何大型處理都將由spark完成。

我不是要使用付費服務，如Cloudera的或亞馬遜服務的狀態...

Answer 1

這裏是關於主人和奴隸安裝星火的一步一步的指導。這是很全面：

http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/

如果成功的話，你應該可以看到在主，這將顯示整個簇火花UI。無可否認，設置是一個漫長的過程，我自己經歷了這個過程，所以如果你有任何特定的問題隨時問。

使用spark-submit腳本啓動應用程序做一次：

./bin/spark-submit \ 
    --class <main-class> \ 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

確保給主人URL運行在集羣模式下您的應用程序，而不是本地[*]等