根據ID列表篩選XML文檔

Question

我在TREC format中有7GB XML文檔。該文件有標籤DOC，其中有DOCNO和TEXT。

<FILE> 
<DOC> 
<DOCNO>abc</DOCNO> 
<TEXT>content 
of first 
doc</TEXT> 
</DOC> 
<DOC> 
<DOCNO>def</DOCNO> 
<TEXT>content 
of second 
doc</TEXT> 
</DOC> 
<DOC> 
<DOCNO>ghi</DOCNO> 
<TEXT>content 
of third 
doc</TEXT> 
</DOC> 
</FILE> 

我想這個文件過濾和保持只DOC有S IN一個文件一個DOCNO包含ID列表：

abc 
ghi 

所以輸出變成

<FILE> 
<DOC> 
<DOCNO>abc</DOCNO> 
<TEXT>content 
of first 
doc</TEXT> 
</DOC> 
<DOC> 
<DOCNO>ghi</DOCNO> 
<TEXT>content of 
third 
doc</TEXT> 
</DOC> 
</FILE> 

我的猜測是xml_grep應該是有用的，但我做不到。

Answer 1

如果您有xml_grep我假設也安裝了perl模塊XML::Twig。我不知道該怎麼xml_grep的作品，但你可以實現相同的結果有一個完整的腳本，如：

#!/usr/bin/env perl 

use warnings; 
use strict; 
use XML::Twig; 

XML::Twig->new(
    twig_print_outside_roots => 1, 
    twig_roots => { 
     'DOC' => sub { 
      my $docno = $_->next_elt('DOCNO') || next; 
      if ($docno->text_only =~ m/\A(?:abc|ghi)\Z/) { 
       $_->print; 
      } 
     }, 
    }, 
    pretty_print => 'indented', 
)->parsefile(shift); 

它搜索每<DOC>元素，讀取下一個並提取其文本，即相比於abc或ghi使用正則表達式，並且只在匹配的情況下打印該部分樹。

運行它想：

perl script.pl xmlfile 

國債收益率（注意空格，因爲他們的任何元素是沒有意義的）：

<FILE> 

    <DOC> 
    <DOCNO>abc</DOCNO> 
    <TEXT>content 
of first 
doc</TEXT> 
    </DOC> 


    <DOC> 
    <DOCNO>ghi</DOCNO> 
    <TEXT>content 
of third 
doc</TEXT> 
    </DOC> 
</FILE> 

Answer 2

使用awk來創建XPath和xmlstarlet過濾該文件：

$ xpath=$(awk ' 
      BEGIN {printf "//DOC[not("} 
      {printf "%sDOCNO=\"%s\"", sep, $0; sep=" or "} 
      END {print ")]"} 
     ' ids.txt) 

$ echo "$xpath" 
//DOC[not(DOCNO="abc" or DOCNO="ghi")] 

$ xmlstarlet ed -O -d "$xpath" file.xml 
<FILE> 
    <DOC> 
    <DOCNO>abc</DOCNO> 
    <TEXT>content 
of first 
doc</TEXT> 
    </DOC> 
    <DOC> 
    <DOCNO>ghi</DOCNO> 
    <TEXT>content 
of third 
doc</TEXT> 
    </DOC> 
</FILE>