azure-data-factory

3熱度

2回答

我有一個具有多個管道的數據工廠，每個管道都有大約20個複製活動，以在兩個存儲帳戶之間複製azure表。每個管道處理每個天藍色表的快照，因此我想按順序運行管道，以避免用舊數據覆蓋最新數據的風險。我知道給第一個管道輸出作爲第二個管道的輸入，我們可以實現這一點。但是，由於我有許多活動正在籌備中，我不確定哪些活動最後會完成。是否有反正我可以知道管道已完成或反正一個管道完成狀態觸發下一個管道？在Ac

0熱度

1回答

Azure數據工廠數據遷移

不確定這是一個明確的問題還是僅僅是輸入查詢。我正在查看Azure Data Factory以實施數據遷移操作。我想要做的是以下幾點：我有一個沒有SQL DB與兩個集合。這些集合通過一個公共屬性關聯。我有一個MS SQL Server數據庫，其數據與No SQL DB Collections內的數據通過屬性/列相關。其中一個NoSQL DB集合將定期更新，另一個不是經常更新。我想要做的就是準

1熱度

1回答

我們如何獲取數據工廠日誌信息

我們如何獲取數據工廠日誌信息。做微軟完成任何文檔。我需要的完整信息，當我運行管道即開始時間，結束時間，流水線作業ID，沒有插入，刪除，更新，錯誤記錄等

0熱度

1回答

如何以編程方式爲鏈接服務生成會話標識和授權標記？

我有一個需要授權和會話ID的鏈接服務。目標是在本地創建ADF項目，並通過VSTS CI/CD管道將其推送到Azure。每當我使用powershell腳本部署項目時，我都會遇到授權問題。我該如何處理？我注意到一個C＃腳本https://docs.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity。但是，我如何將這與我的A

1熱度

1回答

ADF項目有可能參考另一個ADF項目嗎？

在我的解決方案中，我有兩個Azure數據工廠項目：PR1和PR2。 PR1包含一些資源的定義 - 「resource1」。在PR2我有管道的定義，我想引用這個資源爲： "linkedServiceName": "resource1" 當我嘗試建立或發佈PR2，我發現了錯誤： Reference resource1 was not found in the solution 我嘗試添加到PR1

2熱度

2回答

如何在Azure數據工廠管道中實現條件分支

我正在實現一個管道以將數據更新從csv文件插入SQL DB。計劃是首先將數據插入到臨時SQL表中進行驗證和轉換，然後將處理後的數據移動到實際的SQL表中。我想根據驗證結果來分支管道執行。如果數據正常，它將被插入到目標SQL表中。如果發生致命故障，應該跳過插入活動。試圖找到指示/指導，但迄今爲止沒有成功。管道活動支持條件執行的任何想法，例如基於輸入數據集中的一些屬性？

0熱度

1回答

使用Azure數據工廠將數據加載到Azure DW

我使用ADF填充天藍色數據倉庫，我需要準備增量插入/更新操作。我的源代碼可以包含已經加載到DW的數據，因此我需要執行檢查以確定數據是否已加載並執行操作。基本上這個想法是在過去7天內每天都會獲取數據，以防有人更新歷史數據。起初，我嘗試使用副本活動與來源自定義查詢，然後在目的地使用存儲過程，將通過業務重點檢查記錄已經存在與否和執行插入或更新。但是我找不到如何處理每行的源查詢行結果並將其傳遞給SP。

0熱度

1回答

在一個插入到DocumentDB的天青邏輯應用程序工作流步驟中，如何「toString」一個數字

我在邏輯應用程序中觸發DocumentDb步驟中的「創建文檔」時出現錯誤，指出id是一個數字。如何在插入步驟中使用toStringid號碼？ "actions": { "Create_or_update_document": { "inputs": { "body": { "body": "@triggerBody()",

0熱度

2回答

如何使用Azure Data Factory將數據從MySQL逐步導入Azure數據倉庫？

我正在使用Azure Data Factory來定期將數據從MySQL導入到Azure SQL數據倉庫。數據通過Azure存儲帳戶上的臨時blob存儲，但是當我運行管道時，它失敗了，因爲它無法將blob文本分離回列。管道試圖插入目標的每一行都將成爲一個長字符串，其中包含由「⯑」字符分隔的所有列值。我之前使用過數據工廠，沒有嘗試增量機制，它工作正常。我沒有看到會導致這種行爲的原因，但我可能錯過了

1熱度

2回答

使用Azure數據工廠僅複製特定的擴展blob

我試圖將一個Blob容器從一個Azure存儲帳戶複製到另一個。我正在使用Azure Data Factory複製活動來執行此操作。複製所有的斑點很簡單。但我只想複製特定的擴展blob。在創建輸入數據集時，我沒有看到任何指定wildcard或regex的選項。有沒有什麼辦法可以通過ADF實現這一點。我也嘗試了Azure Data Movement Library。即使它沒有這樣的功能。 DML僅