有條件地加載來自PIG的HBase記錄

有沒有一種方法可以根據HBase中特定列的值將HBase中的記錄加載到pig關係中？謝謝有條件地加載來自PIG的HBase記錄

2013-05-14 rahul

-1

如果你看看source code for the pig HBase loader你可以看到它可以過濾關鍵範圍和時間戳，它可以通過前綴獲取列，但不能按列值過濾。

您可以編寫自己的加載程序（甚至基於該代碼）並添加所需的功能。請注意，對列值進行過濾的性能不會太好，並且在映射器中對該值進行過濾的速度比在HBase過濾器中進行過濾的速度要慢，這種情況不會有所不同（您基本上可以將區域服務器的進程間通信到pig mapper）

來源

2013-05-15 05:05:48

它取決於您使用的豬/ hbase的版本是否使用時間戳過濾。這是在豬0.10.0中引入的。但是，如果你使用的是cloudera，很難說出它是什麼發佈的，但它肯定是在0.10.0-cdh4.1.3之後的（不幸的是，對我來說，因爲這是我的公司堅持的版本）。告訴你可以過濾哪些標誌的最好方法是獲取你的豬版本的源代碼並查看HBaseStorage類。 – barclay

有條件地加載來自PIG的HBase記錄

回答

相關問題