Azure DataFactory管道超時

Question

目前我們有一個包含超過200k條記錄的表，因此當我們將數據從源azure sql數據庫移動到另一個sql數據庫時，需要大量時間並且超過3小時導致超時錯誤，最初我們將超時設置爲1小時，但由於超時錯誤，我們必須將超時間隔增加到3小時，但仍然無法工作。

這是我們如何定義過程。

1. 兩個數據集 - >輸入和輸出
2. 一個流水線 管道，我們都喜歡選擇在查詢內部* from表; 我們有存儲過程和它的腳本就像
3. 從表中刪除所有記錄。
4. 插入語句以插入所有記錄。

這很耗時，所以我們決定在過去的24小時內根據日期列進行更新並插入任何修改或插入的數據。

那麼在azure管道中是否有任何功能會檢查在過去24小時內在源azure sql db中插入或更新的記錄，或者我們需要在目標sql存儲過程中執行哪些操作。

Answer 1

在Azure Data Factory中，我們有一個選項，如writeBatchsize。我們可以設置此值以間隔刷新數據，而不是每個記錄的刷新。