2011-10-13 50 views

回答

3

沒有辦法自定義文件寫入的方式。它將寫入磁盤,對此你可以做的事情不多。

你應該做的是做一個外部調度的進程(可能使用cron),它定期地將Redis文件取出並轉儲到HBase中。

您可以自定義這個過程中一些方法來更加強勁,如果它適合你的情況和需求:

  • 開始攝取處理,以確保你有一個向上的最新轉儲前執行一個BGSAVE
  • 在將文件導入HBase之前,先對文件執行md5sum。檢查自上次處理以來md5sum已更改。如果Redis實例中的數據不經常更改,這可能很有用。
  • 改爲使用append only file轉儲。這樣,您可以跟蹤已經攝入HBase的內容,然後只更新到更改。你只需要跟蹤你上次離開的線路。如果你不想每次都轉儲你的HBase表並重新加載它,這會很好。
+0

感謝您的回答。 –

+0

@Donald Miner,當你說「需要redis文件,然後將其轉儲到HBase中」時,你的意思是讀取redis文件,解析它,然後將它放到HBase格式,對吧? – Shengjie

+0

@盛傑是的,有些工作是必需的。 –

相關問題