1
我正在使用nutch-1.6通過觸發來自終端的命令進行爬取。我已經搜索在互聯網上發現,早期版本一樣0.9,1.0的Nutch的配備,可以Tomcat服務器上部署war文件,但我找不到任何文檔在Tomcat中部署Nutch的1.6。如何在tomcat上部署Apache Nutch -1.6?
而不是從終端每次觸發命令,我想通過自動化部署在Tomcat Nutch的抓取系統,這樣我可以通過網頁給命令。
我正在使用nutch-1.6通過觸發來自終端的命令進行爬取。我已經搜索在互聯網上發現,早期版本一樣0.9,1.0的Nutch的配備,可以Tomcat服務器上部署war文件,但我找不到任何文檔在Tomcat中部署Nutch的1.6。如何在tomcat上部署Apache Nutch -1.6?
而不是從終端每次觸發命令,我想通過自動化部署在Tomcat Nutch的抓取系統,這樣我可以通過網頁給命令。
Nutch的2.2.1已經REST基於API啓動工作,從數據庫取回(配置存儲)數據,停止作業等,
要啓動的Nutch 2.2.1
./bin/nutch nutchserver 9000
服務器成功啓動,我們可以使用REST請求
http://localhost:9000/nutch/confs/default
上創建新的服務器抓取作業 http://localhost:9000/nutch/jobs
的ContentType:應用/ JSON
HTTP方法類型: PUT
有效載荷:
{
"crawl":"123",
"type":"crawl",
"conf":"default",
"args":
{ "class":"org.apache.nutch.crawl.Crawler",
"seed":"http://www.somesite.com",
"seedDir":"runtime/local/url/url.txt", "depth":2 }
}