無法使用Pig加載來自hbase的數據

我嘗試從hbase表加載所有數據。其中有10093條記錄。這裏是我的豬腳本無法使用Pig加載來自hbase的數據

register 'zookeeper.jar' 
register 'hbase-server-0.98.6-cdh5.3.2.jar' 

result = LOAD 'hbase://clf_transaction_train' 
    USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
    'cf:features cf:content', '-loadKey true') 
    AS ( content:bytearray, features:bytearray); 


rmf $output; 
STORE result INTO '$output';

腳本正常工作 - 沒有任何錯誤消息。但只加載100條記錄。

我該如何解決？謝謝。

來源

2017-01-23 Fedorenko Kristina

您可以嘗試修改HBase的掃描儀超時：這裏

<property> 
    <name>hbase.rpc.timeout</name> 
    <value>60000</value> 
</property> 
<property> 
    <name>hbase.client.scanner.timeout.period</name> 
    <value>60000</value> 
</property> 
<property> 
    <name>hbase.cells.scanned.per.heartbeat.check</name> 
    <value>10000</value> 
</property>

來源

2017-01-26 09:07:47 Alexander

無法使用Pig加載來自hbase的數據

回答

相關問題