將大型XML文件拆分爲Hadoop的可管理部分

Question

是否有一個輸入類根據Hadoop中的樹結構處理[多個]大型XML文件？我有一組具有相同模式的XML文件，但我需要將它們拆分爲數據段，而不是將這些段分開。

例如XML文件將是：

<root> 
    <parent> data </parent> 
    <parent> more data</parent> 
    <parent> even more data</parent> 
</root> 

我將定義每個部分爲： /根/父母。

我在問的是：Hadoop中是否有一個記錄輸入閱讀器可以執行此操作？

Answer 1

我認爲Cloud9 project at UMD可能會幫助你。

該庫提供了一個可能有用的XMLInputFormat class。

另外感興趣的是Cloud9文檔中的這個頁面，它查看如何處理XML dump of Wikipedia in MapReduce。