在SSIS中，數據流連接需要很長時間

Question

我是SSIS的新手...... 我升級了一個包（從2008到2010 Visual Studio），它連接到一個平面文件並將數據轉儲到一個新表中。 我每5分鐘獲得約25個文件。 問題是，在包中，它的需要超過15秒才能連接到一個單獨的文件，但傳輸速度很快。由於速度很慢，因此有很多文件未處理。 我的問題是我該如何讓它更快？

我以爲也許升級是一個問題，所以我做了一個全新的包。然後我嘗試連接兩個數據庫，即使連接時間相同。

Answer 1

您所描述的內容聽起來不像連接問題，但更多的是讀取並加載到緩衝區中的文件的開始。需要考慮的事情是：

• 文件（網絡IO）的位置 - 保持本地的SSIS服務，如果可能的，或者將其複製到SSIS服務器通過數據流
• 量運行之前可用內存SSIS
• 的內存分配給數據的一些基本調整步驟將是量流

： - 確保平面文件連接上的列大小是準確的（而不是全部設置爲字符串（500）或類似的東西）。這對一次處理多少行具有直接影響 - 增加數據流中的DefaultMaxBufferRows和DefaultBufferSize以增加每個緩衝區的行數 - 確保將oledb目標設置爲快速加載。如果您正在加載堆，請確保tablock處於打開狀態。如果您正在加載聚簇索引並且有多個流將更新同一個表，請確保tablock未打開，否則您將自行阻止。在這種情況下，我會考慮重新設計順序加載或使用多文件源的方法。