的Lucene索引與搜索地圖/縮小

Question

可能重複：
instant searching in petabyte of data…

如何使用Hadoop的的Map/Reduce在Lucene的索引和搜索?????

Answer 1

我能找到你是Katta最接近的事：

凱塔是許多商品硬件服務器非常相似的Hadoop MapReduce的，Hadoop的DFS，HBase的，Bigtable的或Hypertable的運行分佈式應用程序。

（...）

凱塔支持分佈式得分爲其Lucene的實現 - 這是因爲我們不希望這個詞分佈在所有碎片完全平衡。

在Katta中完成的每個搜索查詢最終都是兩個網絡往返：首先我們從所有節點獲取查詢的文檔頻率，然後在第二個節點將此值和搜索查詢傳遞給所有節點。請注意，我們還提供了一種簡單的計數方法，只計算匹配查詢的文檔，但在一次網絡往返中進行。