1. 首頁
  2. 問答
  3. Hadoop與Web應用程序的集成

Hadoop與Web應用程序的集成

2014-01-23 138 views
0

我想通過給定的用戶界面在Hadoop中使用用戶選擇的文件。應該採取什麼方法，在網絡中使用Hadoop是一個明智的決定Hadoop與Web應用程序的集成

來源

2014-01-23 Piyush Sharma

+0

這個問題是非常籠統，不是很清楚。請描述你試圖達到的目標。 你的意思是讓用戶從Web界面上傳文件，並使用hadoop處理文件？ –

+0

絕對是，我使用Struts框架上傳文件並在Hadoop中使用它。這是正確的事情嗎？無論何時我試圖運行我的Hadoop作業，ClassNotFoundException都將用於Mapper和Reducer類。 –

+0

@PiyushSharma您好Piyush，你可以請分享你是如何將hadoop與struts應用程序連接起來的？您使用哪種API /工具在您的Web應用程序中訪問hadoop/hdfs數據，反之亦然？ Hadoop羣集內的Web服務器還是外部羣集通過http等進行通話？ – Dexter

回答

0

有兩個問題 - 如果你應該使用hadoop，以及如何使用hadoop。

  1. 您希望用戶通過Web界面上傳的典型文件比hadoop開始相關的數據大小要小得多。

所以這是很可能的是，Hadoop是不是這種情況下

  1. 很難知道是什麼問題，沒有更詳細的日誌的正確選擇。 但最常見的情況是，如果找不到的類是您的類（而不是基礎結構類），則需要將您的jar分發到所有hadoop任務。

一個簡單的解決方案是在運行應用程序時使用的參數-libjars

看到一個很好的解釋here

來源

2014-01-23 13:42:10

+0

對於你的第一點我同意，但我的要求就像Hadoop應該能夠使用它中的所有JBoss日誌文件。首先嚐試上傳單個文件後，我們將其自動化，以消耗所有Jboss日誌文件 –

+0

我已添加「conf.set（」mapred.jar「，」/ path/hadoop.jar「）;」在我的代碼中。現在工作正常 –

相關問題

 相關問題