2017-07-17 33 views
1

,因爲它是在預覽,但一些標誌的各種組合的真正混淆我還是我和Azure的數據工廠工作..ADF數據集可用性

情況:我有一個每天片間隔管道和一系列活動(總共4個),這些活動由兩個外部數據源鏈接而成。目前這一切都運行良好,但在片的末尾即午夜運行。

該數據實際上可用@ 7pm 當天的切片,所以我們不需要等待。

解決方案: 所以,如果我將所有的外部數據源有:

 "external": true, 
     "policy": { 
      "externalData": { 
       "dataDelay": "-05:00:00" // i.e. 24:00 - 5:00 = 19:00 
      } 
     } 

這項工作?

思想,我有:

  • 我是否需要設置在活動什麼搭配?
  • 我非常希望不要真正改變實際切片的開始/結束,只需在所有數據準備就緒時使其「儘早」運行即可。
  • 輸出數據集以及管道中該事件的所有其他數據集是否也需要進行設置?

的原因,我問這裏,就是無需通過時間旅行的能力,這是一個有點疼痛通過試驗和錯誤調試,所以wnat感測與專人檢查:)

乾杯!

回答

0

您應該能夠在間隔開始時將數據設置爲準備好。關於scheduling in ADF的文章應回答您的問題並提出可在數據集上設置的相關屬性。

0

可以使用在輸出數據集的可用性部2個附加屬性實現這一點:

"availability": { 
      "frequency": "Day", 
      "interval": 1, 
      "offset": "20:00:00", 
      "style": "StartOfInterval" 
     } 

上述設定將觸發管道@ 8PM(20時00分零零秒)每日。

在管道

然後,你需要設置的開始日期爲[WhateverDate] T,20:00:00Z