2013-07-02 84 views
1

我正在使用nutch-1.6通過觸發來自終端的命令進行爬取。我已經搜索在互聯網上發現,早期版本一樣0.9,1.0的Nutch的配備,可以Tomcat服務器上部署war文件,但我找不到任何文檔在Tomcat中部署Nutch的1.6。如何在tomcat上部署Apache Nutch -1.6?

而不是從終端每次觸發命令,我想通過自動化部署在Tomcat Nutch的抓取系統,這樣我可以通過網頁給命令。

回答

0

Nutch的2.2.1已經REST基於API啓動工作,從數據庫取回(配置存儲)數據,停止作業等,

  • 招聘經理API
  • Db的閱讀API
  • 配置API

Nutch2 Tutorial wiki

Running Nutch in eclipse

要啓動的Nutch 2.2.1

./bin/nutch nutchserver 9000 

服務器成功啓動,我們可以使用REST請求

  • 獲取detault配置訪問資源後
    http://localhost:9000/nutch/confs/default
  • 上創建新的服務器抓取作業
    http://localhost:9000/nutch/jobs
    的ContentType:應用/ JSON
    HTTP方法類型: PUT
    有效載荷:

    { 
        "crawl":"123", 
        "type":"crawl", 
        "conf":"default", 
        "args": 
         { "class":"org.apache.nutch.crawl.Crawler", 
          "seed":"http://www.somesite.com", 
          "seedDir":"runtime/local/url/url.txt", "depth":2 } 
    
        }