具有多個表格的彈簧批量遠程分區

Question

我開發了一個應用程序，我們必須從一個大型表格處理超過500萬條記錄。我們使用了spring批處理遠程分區，它工作正常。

我現在必須使用相同的工作，並調整它爲多個表創建分區。每個分區都有表名和最小和最大記錄，因此從服務器知道哪個表必須讀取數據並準備文件。

我的問題是，這是可以做的事情，如果是的話，那麼是否有任何樣品在github上。

謝謝

Answer 1

是的，這是可以做到的。您需要實施自己的Partitioner來處理爲每個表/行範圍創建ExecutionContexts的邏輯。

一對夫婦良好的資源優勢：

• Partitioner接口文檔：http://docs.spring.io/spring-batch/apidocs/org/springframework/batch/core/partition/support/Partitioner.html
• Spring Batch的的縮放和並行處理章第7.4節：http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html
• 我介紹Spring Batch的視頻覆蓋分區：https://www.youtube.com/watch?v=CYTj5YT7CZU和相關的Github存儲庫：https://github.com/mminella/Spring-Batch-Talk-2.0