對於大型輸入文件的彈簧批量遠程分區

Question

我們正在使用spring批處理和彈簧集成實現遠程分區作業。對於這個工作，我們得到一個大文件，我們正在使用unix命令分割該文件，並使用這些文件運行批處理。有沒有辦法我可以寫一個自定義分區邏輯的大文件沒有分裂的文件。請幫助別人..

在此先感謝。

-MK

Answer 1

有一個JIRA問題的Spring Batch的（BATCH-1613和相關pull request），支持多線程文件的閱讀。但是，我們發現的問題是具有多個線程的好處非常環保。在典型的環境中，最終無法使用單個文件快速從磁盤中獲取數據，以保持所有分區的繁忙。當我通過單線程讀取單個文件進行測試時，之前關聯的拉請求沒有任何好處，這是爲什麼它沒有合併（即使作者能夠呈現在他的環境中提高速度的統計數據）。

如果鏈接的代碼對您有好處，請隨時使用它。然而，我想確保在更多的環境中可以實現這些好處（或者至少有更具體的理解它的要求，以獲得好處以便它們可以被記錄），然後再將它合併到框架本身中。

如果你找出適合你的東西（根據鏈接的代碼或其他），我們很樂意提供一個拉取請求！