solr on hadoop的集成

Question

我已經通過curl命令安裝了solr和i​​ndexd並執行了搜索活動。現在我想在hadoop上部署它，並在文件被推送到存儲目錄時自動建立索引。我對Hadoop完全陌生，不知道。那麼任何人都可以向我介紹這一點？非常感謝。

Answer 1

要添加到亞歷山大的答案：有一個教程Cloudera搜索http://www.cloudera.com/content/cloudera-content/cloudera-docs/Search/latest/Cloudera-Search-User-Guide/csug_tutorial.html。

Answer 2

如果您不太瞭解底層技術，最好查看專門將多個軟件包放在一起的供應商產品，並提供圍繞其特定組合的培訓材料。

具體來說，我會建議看看像CDH from Cloudera。它包括Hadoop，Solr和許多其他的東西，比如Hue。

Answer 3

有些方法可以讓文件在目錄中登錄時自動進行索引。

1. 使用curl - 編寫shell腳本並將其作爲cron運行。

2. 使用Oozie - 創建shell操作並計劃它。

3. 我希望morpline /水槽solr水槽可能工作。

注意：如果您發現有關3的解決方案，請分享。

乾杯， 卡納安

Answer 4

你可以看到的Solr參考指南（HDFS上運行SOLR）是 https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS

Solr的有寫作的支持和閱讀它的索引和事務日誌文件到HDFS分佈式文件系統

要使用HDFS，而不是一個本地文件系統，你必須使用Hadoop 2.x的

你需要指示Solr使用HdfsDirectoryFactory。還有幾個額外的參數需要定義。這些可以通過三種方式設置：

1.通過bin/solr腳本的通過JVM參數。每次你用bin/solr啓動Solr時都需要傳遞這些信息。

2.修改solr.in.sh（或Windows上的solr.in.cmd）以在使用bin/solr時自動傳遞JVM參數，而無需手動設置它們。

3.定義solrconfig.xml中的屬性。這些配置更改需要爲每個集合重複，因此，如果您只希望將某些集合存儲在HDFS中，那麼這是一個不錯的選擇。