性能問題從數據庫中獲取數百萬條記錄和在ERP中處理mule esb

Question

我們正試圖從數據庫中提取數百萬條記錄並每天在ERP系統中處理，並且我們正面臨性能問題，有沒有關於此的任何解決方案社區？

處理騾子記錄的最佳方式是什麼？那麼我們應該使用批處理還是有其他替代方法？如果我們使用批處理或其他解決方案，我們如何使用它以免遇到任何性能問題？

Answer 1

由於我們沒有關於您的具體情況的詳細信息，因此以下是一些一般想法。處理大型數據集時，您肯定需要進行性能測試，以確保您的流程設計運行良好。

爲了澄清，我在下面給出的選項顯示流式傳輸，但性能稍差，但可以處理大型數據集。如果您可以在內存中處理數據集並且希望更快處理，請關閉流式傳輸。

• 在mule以外的地方測試你的db查詢，以確保它們是高性能的，並且表格被正確編入索引。
• 使用流數據庫連接。調整塊大小進行性能測試。 （Using this with batch scope is a good combo）
• 如果使用內部部署運行時，請執行performance tuning。
• 使用批處理範圍（企業版）

Answer 2

批聽起來像你想要做什麼。對於每個批處理步驟，Mule創建一個批處理作業實例，每個實例包含一個包含批處理記錄的持久隊列。但是，它會對包含流變量，流構造，消息，處理時間，會話和交換模式的MuleEvent進行深層次的複製，因此要小心，確保在進入批處理作業之前保持輕微的佔用空間。如果您必須使用數百萬條記錄設置有效負載以便對變量進行流操作，請確保在開始執行批處理之前將其刪除。它會將這些批處理步驟加載到內存中並同時執行它們，因此您需要的內存量將是批處理作業實例（特別是MuleEvent）的大小（按批處理步驟數）。