Hbase BulkLoad without mapreduce

Question

我想知道是否可以編寫一個在HBase上執行BulkLoad的java程序。我在hadoop集羣上，但由於某種原因，我不需要編寫MapReduce作業。

謝謝

Answer 1

BulkLoad與HFile一起使用。所以如果你有HFile，你可以直接使用LoadIncrementalHFiles來處理批量加載。 通常我們使用Map reduce，它可以將數據轉換爲上述格式，並執行批量加載。 如果您有csv文件，則可以使用ImportTsv實用程序將您的數據處理爲HFile。請使用this link，以獲取更多信息 這取決於您當前數據的格式。 需要指出的是，批量加載不使用預寫日誌（WAL）。他們跳過這一步並以更快的速度添加數據。如果您有任何其他框架取決於上述WAL，請考慮在Hbase中添加數據的其他選項。快樂編碼。