azure-data-factory

1熱度

1回答

我正在Azure數據倉庫使用Azure數據工廠，我想增加我的連接的資源類。爲了避免任務被迫等待併發插槽變爲可用數據庫，我想知道是否可以告訴數據工廠，它一次只能針對定義的數據源運行2個活動。希望這應該有助於防止在等待併發插槽的db中掛起的任務超時。我的數據工廠有兩條並行管道，可能會同時使用相同的數據庫。是否可以爲鏈接服務設置全局併發限制？

1熱度

1回答

存儲過程活動在ADF中的日誌（文本）

我正在做Azure數據工廠中的一些示例存儲過程活動。我需要爲我的ADF解決方案創建日誌記錄。我知道我們可以在一些自定義Activity的幫助下實施日誌記錄。但是，我還可以使用其他選項（甚至是Azure中的其他服務構建）嗎？以及如何實現我的解決方案而不需要定製.NET活動？如果可以在文本文件中進行日誌記錄。它對我更有用

0熱度

1回答

在Azure數據工廠中將空日期轉換爲1900-01-01

我正在通過Data Factory將數據從不同數據庫傳送到Azure中的Blob存儲，問題是所有日期值在Null時變爲1900-01-01。你有什麼建議怎麼做才能保持空值？感謝

0熱度

1回答

Azure Data Lake服務負責人寫入數據工廠

我已經創建了一個服務負責人，並設置了必要的鏈接服務，以便在ADF中使用憑據和密鑰等，這是如何完成的： https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-authenticate-using-active-directory 當我執行我的管道，並且文件被寫入ADL，我可以看到頂級文件夾（我記錄在ADL服務的創

0熱度

2回答

Azure數據工廠 - 始終運行？

我已經實現了一個Azure的DF工作，其執行SQL存儲過程： { "name": "spLoggingProc", "properties": { "activities": [ { "type": "SqlServerStoredProcedure", "typeProperties": { "sto

0熱度

1回答

有沒有辦法選擇使用Azure Data Factory進行處理的最新文件？

有沒有辦法選擇使用Azure Data Factory進行處理的最新文件？這些文件按年/月/日/ [file1]登陸文件夾結構... 在日文件夾中，文件每小時落地，我的工作也將計劃每小時進行一次。在此先感謝。

3熱度

1回答

使用Google DataFlow/Apache Beam並行化圖像處理或爬行任務是否合理？

我正在考慮谷歌的數據流作爲運行的管道，涉及到類似步驟的選項：從網上下載圖像; 處理圖像。我喜歡DataFlow管理完成作業所需的虛擬機的生命週期，所以我不需要自己啓動或停止它們，但我遇到的所有示例都將它用於數據挖掘類型的任務。我不知道它是否是其他批處理任務（如圖像處理和爬網）的可行選項。

0熱度

2回答

Azure數據工廠的單元測試

我有一個VSTS CI/CD管道，它將Azure數據工廠項目設置在本地部署到Azure平臺中的現有數據工廠。有沒有一種方法可以單元測試我的項目？我明白在構建定義中有一個visual studio測試任務。如何爲ADF創建單元測試項目？任何建議都會有幫助。

0熱度

1回答

是否有可能通過.Net SDK在Azure數據工廠中將json文件用作模板？

我正在使用.Net SDK創建管道及其數據集，鏈接服務。我懷疑我們可以從JSON模板獲取值並將這些值傳遞給內置方法。以下Class用於創建Azure存儲鏈接服務。 client.LinkedServices.CreateOrUpdate(resourceGroupName, dataFactoryName, new LinkedServiceCreateOrUpdateParame

1熱度

1回答

當Azure中運行的批處理數據天青工廠的活動，應該如何異步處理

背景我有所簡化這種情況，但這是普遍問題。我正在使用Azure數據工廠將數據從自定義API接收到Azure數據倉庫中的表中。我正在使用IDotNetActivity運行調用API並將數據加載到數據倉庫中的C＃代碼。該活動在Azure批處理中運行。在我調用自定義API之前，我從Azure Blob存儲中的文件加載了一個人員列表。然後我打電話給文件中每個人的自定義API。這些調用是依次進行的。