將數據批量/批量加載到Apache Geode（Gemfire）中有哪些選項？

Question

我們需要將數百萬個鍵/值加載到Apache Geode中，我們想知道有哪些可用選項。我們的價值恰巧在256kb的範圍內。

Answer 1

有根據您的應用需求/ SLA的，或者是否需要執行轉換或其他變換幾個選項等

1. 外的開箱，阿帕奇的Geode提供Cache & Region Snapshot Service。例如，當您想要將現有的一個Apache Geode羣集中的數據遷移到另一個時，這非常有用。如果您的數據來自外部來源，比如RDBMS，那麼它就不那麼有用了。

2. 另一種選擇是根據需要延遲加載數據。這可以通過使用區域實現CacheLoader interface和registeringCacheLoader來完成。顯然，您可以創建一個CacheLoader實現，除了基於當前請求加載和返回單個興趣值之外，還可以根據某些規則/條件智能加載數據塊。

3. 很多時候，用戶創建的外部，定製轉換過程或工具來提取，轉換和批量加載（ETL）一組數據到Apache中的Geode。這在複雜的用例或需求中是典型的。然而，這是非常明智的或者用一個框架/工具，如...

4. Spring XD（現Spring Cloud Data Flow上樞紐的Cloud Foundry的（PCF））是偉大的ETL工具和管道，用於創建基於流的應用程序。 Spring XD/SCDF爲「sources」和「sinks」（例如GemFire Server）提供了許多不同的選項。除了來源 & 接收器，你甚至可以「點擊」流來處理數據與「Processors」。所以，不管你是做實時數據流或面向批處理的數據操作（如批量加載），春天XD是一個很好的選擇。

5. 我相信Google可能會提供關於如何使用像Apache Geode這樣的KeyValue商店執行ETL的其他答案。

希望這可以幫助你走。

乾杯， 約翰