如何從Nutch抓取的數據中提取數據？

Question

Apache Nutch抓取了保存在hbase中的一些數據。這些數據包含一些pdf文件。現在我想提取這些文件。

我該怎麼辦呢？

Answer 1

默認情況下，Hbase不理解存儲哪種類型的數據。我想你可以在HBase shell中使用readdb命令（http://wiki.apache.org/nutch/bin/nutch%20readdb）從網頁表中提取數據。

Answer 2

可以使用Nutch的dump命令

下面是語法：

​​

例子：

bin/nutch dump -outputDir /tmp/tt03 -segment crawl/crawldb/segments 

Answer 3

正如你當然知道，抓取數據存儲在段。實際上，你可以使用提取readseg命令（例如）這些數據：

bin/nutch readseg -dump /work/apache-nutch-1.12/crawl/segments/20161005134205 my_dump_dir 

其中my_dump_dir是你的目錄，這將創建幷包含轉儲。

然後在你的my_dump_dir你會發現兩個文件：轉儲（包含抓取和分析數據 - non_encoded），並.dump.crc（我猜一些二進制）。他們用任何文本編輯器查看轉儲並查看結構。如果你需要，你也可以解析它。