在hadoop中處理protobufs的自定義inputformat 0.20

Question

我想用hadoop處理protobufs ....但我不確定從哪裏開始。 我不在乎分裂大文件。 的protobufs存儲爲二進制數據...我應該擴展一下班，使其更容易

Answer 1

elephant-bird可以使用Hadoop處理protobufs。該框架與常規protobuf類一起生成hadoop I/O類。它使用lzo壓縮。