Hadoop集羣和谷歌like界面的溝通。怎麼樣？

Question

我的老闆告訴我要設置一個類似谷歌的界面，輸入一個關鍵字，然後按下按鈕，它將結果返回到屏幕。當你按下按鈕時，hadoop集羣將在後面工作並返回結果。我已經設置了一個hadoop集羣並使wordcount工作，但我不知道這個谷歌喜歡的界面如何與hadoop集羣進行通信並製作合適的.jar然後返回結果。我有使用Spring Framework的經驗，但如果您有其他建議，我向他們開放。感謝你的關心。

Answer 1

如果您要求您通過Hadoop來完成，您的上司犯了一個很大的錯誤。 Hadoop並不適用於搜索等實時內容。當您運行Hadoop作業時，由於在Hadoop實際開始處理之前很多事情都發生在了底層，所以會產生一些初始延遲。顯然你不希望你的用戶在得到結果之前等待幾秒鐘（或者更多，取決於你的數據）。因此，如果您計劃在用戶提交搜索查詢並期待在短時間內搜索結果時啓動Hadoop作業，那麼您就錯誤了。

但是，您可以事先使用Hadoop以使您的應用更好。例如，您可以使用MapReduce作業更快地索引數據，並在有人想要搜索時準備好投放它。