探索nutch over hadoop

Question

我可以用Hadoop和Nutch做什麼來做搜索引擎？我知道nutch是用來構建一個網絡爬蟲。但我沒有找到完美的圖片。我可以用nutch使用mapreduce並做一些mapreduce工作嗎？任何想法都歡迎。很少有鏈接將不勝感激。謝謝。

Answer 1

如果你只想做Map/Reduce作業，你不需要Nutch而只需要Hadoop。 Hadoop爲您帶來了文件系統上的映射/減少作業的集羣文件系統和調度程序。

由於Nutch建立在Hadoop之上，只要您瞭解數據結構以及搜索器正在執行的操作，就可以在Nutch數據上創建自己的映射/減少作業。

但是，如果您只想運行一些map/reduce作業，只需安裝hadoop即可。