2011-03-22 27 views
2

如何使用Hadoop/Hbase實現網頁搜索。任何人都可以請給我一些準則或教程,只是爲了開始?如何使用Hadoop/Hbase實現網絡搜索?

+0

嗨普里亞,你有沒有找到你的問題的任何答案?即使我也面臨同樣的問題。我有使用hadoop實現網絡爬蟲的其他問題。 – Shekhar 2012-04-10 19:18:17

回答

1

這篇文章是關於map-Reduce的,它給出了一些使用map-reduce實現信息檢索原理的例子。
http://labs.google.com/papers/mapreduce.html
您可能還需要檢查出的Apache Lucene的,這是一個開源的信息檢索系統,和Apache Solr實現

0

@Yash:

對於HBase的:從Definitive guide對HBase的 讀一章。然後閱讀Apache Hbase guide。這會讓你更清楚地瞭解Hbase。

Jmeter可以幫助您發送多個查詢到服務器進行測試。

Nutch是一個開源的基於hadoop的網絡爬蟲。 Solr是一個在內部利用lucene的搜索平臺。你可以看看這些來了解他們的設計和實施你的網絡搜索應用程序。

1

嘗試百合項目,這涉及索引hbase表數據和索引數據可以很容易地用於搜索的實施。這裏要說的是,你可以參考

http://www.lilyproject.org/lily/index.html

百合統一的Apache HBase的,Hadoop和Solr的到綜合集成,互動數據平臺,方便易用的訪問API,一個高層次的數據模型和模式的鏈接語言,靈活,實時的索引和Apache Solr的富有表現力的搜索能力。最重要的是,莉莉是開源的