數據集成解決方案？

Question

在我的公司，我們有許多數據源和處理在任何一天運行。隨着目前的管理，提要和處理步驟的數量開始超出管理它的能力。有沒有一個很好的解決方案可以幫助記錄和管理/調度依賴關係？

例如：
A：當文件x被FTP滴入目錄D1，開球處理工序B
B：加載平面文件到DB1
C：當文件y是FTP投進目錄D2，踢關閉處理步驟D
D：將平面文件加載到DB11
E：當B和D完成時，通過數據進行轉儲，並將新數據加載到DB111中。
F：當步驟E完成後，啓動應用程序進程Pi
G：等...

我希望這些措施，在適當的時間運行，更何況，如果B出現故障，沒有理由運行步驟Ë&女，但我仍然可以運行C & D.當我重新經營的成功，它應該觸發只是é& F到重新運行，而不是C & D.

我們是一個.NET/C＃/Sql Server商店，我已經熟悉SSIS。那真的是最好的嗎？這很好地管理着步驟，但不是外部依賴或記錄。開源（.NET）首選，但不是必需的。

Answer 1

你可能想看看服務巴士。一些選項：

1. MassTransit（http://docs.masstransit-project.com/en/latest/overview/backstory.html）雖然說在頁面上，「我們不做FTP-> WS-deathstar-> BS（不是說你不能，它只是沒有在框中）「。

2. Mule ESB。 （http://www.mulesoft.org/）開源和基於Java。您絕對可以使用它來執行FTP，目錄監視，使用JDBC調用數據庫等。

3. Windows Azure服務總線。 （http://www.windowsazure.com/en-us/services/messaging/）基於雲計算，適用於消息傳遞。你可以編寫工人角色來監視FTP等。