通過Web界面運行Hadoop作業

Question

是否有任何方式通過Web界面運行Hadoop作業？例如使用按鈕爲Hadoop作業執行提供命令。 我想爲我的Hadoop項目實現一個Web界面。

謝謝！

Answer 1

Cloudera會很有用，它是爲此目的而設計的。

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.2/Hue-2-User-Guide/hue26.html

Answer 2

嘗試以下選項：

選項-1

1. 創建Web服務的Java Web項目和所有UI輸入添加到該客戶端服務器。
2. 創建另一個web項目作爲遠程服務器，並接收所有上述作業輸入並將其傳遞給作業。

遠程服務器web項目應該位於羣集中，並始終處於運行狀態並捕獲客戶端信號。

在服務器端使用JSCH，並在您從UI傳遞的所有hadoop命令時調用。

OR

選項 - 2

你可能在你一個MySQL數據庫和所有工作參數，從UI儲存。然後用JSCH寫一個簡單的java代碼，通過輪詢數據庫來運行這些hadoop命令。一直運行的可運行jar。

希望上述2個想法能幫助你。