長時間運行ETL過程 - 後臺作業，Spark，Hadoop

Question

我在應用程序中有一個場景;

1. 必須加載多個來源的數據（超過10個）
2. 晴來源是HTTP/JSON Web服務和一些FTP
3. 必須處理這些數據，並把到一箇中央數據庫（PostgreSQL系統）

當前實現是在Ruby中使用後臺作業完成的。但我看到以下問題;

1. 非常高的內存使用情況
2. 喬布斯有時會卡住沒有任何錯誤報告
3. 水平擴展是棘手的設置

不會在這種情況下，任何方式Spark或Hadoop的幫助或更好選項。

請詳細說明一下好的推理。

更新： 根據評論，我需要進一步闡述它。以下是我爲什麼認爲Spark或Hadoop的要點。

1. 如果我們擴展運行作業的併發性，那也會增加數據庫服務器的負擔。我曾讀過，即使在數據庫方面，Spark和Hadoop也面臨如此沉重的負載。
2. 我們不能運行更多的後臺進程，然後CPU的物理內核（由ruby和sidekiq社區推薦）
3. Ruby中的併發實際上依賴於GIL，實際上並不支持實際的併發。因此，每個作業都可以獲取單箇中央數據源，如果該數據源陷入IO調用中，則源將被鎖定。

以上所有內容均被認爲是Hadoop內置體系結構的一部分& Spark。所以我在考慮採用這些工具。

Answer 1

在我看來，我會嘗試Pentaho Data Integrator（PDI）（或Talend）。

他們在那裏設計可視化工具來解決像你這樣的問題。並有一個免費的版本下載形式SourceForge（只需解壓並按下spoon.bat按鈕）。

他們可以從FTP和HTTP（等）中獲取數據，解碼JSON並編寫像Postgres這樣的數據庫。 PDI有一個免費插件，可以開箱即用地運行Ruby代碼，因此您可以節省啓動開發時間。

PDI還有現成的Spark和Hadoop接口，所以如果你需要更多的解決方案，你可以在後期透明地實現你的hadoop/sparkle服務器。

PDI是爲大量數據加載而構建的，可讓您控制併發和遠程服務器。