azure-data-factory

    2熱度

    1回答

    SSIS複製多個表

    我有200多個MSSQL表，並且希望將數據傳輸到Azure Data Lake Storage。 我認爲的一種方法是對動態數據流使用SSIS，即創建表名變量，並對錶名和每個表運行數據流執行foreach循環。然而，這種方法似乎是錯誤的，雖然文件是在Data Lake存儲中創建的，並且正確的方案數據不會由於錯誤的映射而被傳輸。 是否有任何通用的方式來創建一個動態數據流並傳輸大量的表數據？
    sql-server ssis etl azure-data-factory azure-data-lake 2017-11-18

    1熱度

    1回答

    USQL，將文件夾名提取到輸出

    我試圖從data lake存儲中提取文件夾名並將其作爲列輸出到csv文件中。有沒有辦法通過USQL提取整個文件夾名稱或部分文件夾名稱？例如/input/Testing - 我需要Testing。 我知道你可以提取文件名，並把它變成像這樣的虛擬列： // Filesets, file set with virtual column @q = EXTRACT rowId int, f
    azure-data-factory azure-data-lake u-sql 2017-10-12

    0熱度

    1回答

    ADF V2自託管的IR LinkedService狀態

    在Azure ADF V1中，gui允許我們看到數據網關處於聯機狀態，並且會告訴我們聯機服務是否無法使用。我還沒有找到能給我提供相同信息的powershell cmdlet。 我目前的問題是ADF V2中的管道正在返回「無法連接到SQL Server」錯誤。我在數據網關上的自託管IR中運行診斷程序，並可以連接到服務器。 除了運行管道以查看它是否失敗之外，是否有人有腳本或建議來測試linkedSer
    powershell azure azure-data-factory 2017-10-13

    -1熱度

    3回答

    MYSQL更改數據捕獲（CDC） - Azure服務（Azure數據工廠）

    我想對MYSQL數據庫的數據表執行ETL操作並將數據存儲在azure數據倉庫中。我沒有更新日期列以標識期間的修改記錄。我如何才能知道哪條記錄被修改。 MYSQL數據庫是否支持CDC？ 使用Azure服務（Azure數據工廠）可以讀取MYSQL二進制日誌或二進制日誌？
    mysql etl data-warehouse azure-data-factory 2017-10-16

    0熱度

    3回答

    使用Azure數據工廠將數據從Data Lake Store（JSON文件）移動到Azure搜索

    我正在嘗試使用Data Factory將Azure數據湖中的json文件移至Azure搜索。 但它示出了下面的錯誤， 複製活性在源側遇到用戶錯誤：錯誤碼= UserErrorSourceDataContainsMoreColumnsThanDefined，「類型= Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，消息=發現錯
    json azure azure-data-factory azure-search 2017-10-16

    1熱度

    3回答

    無法訪問ADLS帳戶'（accountname）'

    我正在嘗試使用azure數據工廠v2將數據複製到Azure數據存儲池。我創建了數據湖商店，並在article here之後創建了一個AD網絡應用程序，並確保該帳戶可以訪問數據湖商店。不過，我收到以下錯誤，每當我試圖運行一個管道，涉及使用數據湖店作爲一個水槽的單一副本活動： 活動複製（副本活動名稱）失敗：無法檢測區的鏈接服務'AzureDataLakeStore'：'LS_DataLakeStore
    azure-data-factory 2017-10-17

    1熱度

    1回答

    Set-AzureRmDataFactoryV2無法識別cmdlet的名稱

    我正在嘗試使用數據工廠的預覽版本。但是，當我嘗試在PowerShell中使用Set-AzureRmDataFactoryV2命令創建新的數據工廠時。 它返回一個錯誤：術語「Set-AzureRmDataFactoryV2」無法識別cmdlet的名稱。誰能幫忙？由於
    azure-data-factory 2017-10-18

    0熱度

    1回答

    如何使用Azure Powershell刪除名稱以Azure Data Factory中的特定文本開頭的所有數據集？

    Iam試圖只刪除datafactory中的特定數據集，即只有名稱以「DS_SHP」開頭的數據集。 Iam使用Azure PowerShell cmdlet： Get-AzureRmDataFactoryDataset -ResourceGroupName「cdm-apps-rg」-DataFactoryName「cdm-apps-adf」| Remove-AzureRmDataFactoryDat
    azure azure-data-factory 2017-10-20

    0熱度

    1回答

    加密草稿以爲Azure數據工廠結果創建鏈接服務導致錯誤。

    我想加密草稿以在Azure數據工廠中創建鏈接服務，但是當我單擊加密按鈕並嘗試點擊指向下載的客戶端時出現錯誤。 所以首先我跳過輸入自己的用戶名和密碼，因爲微軟的指南不告訴我，由於某種原因（順便說一句的是一個需要被更新中...） 指南：Move data between on-premises sources and the cloud with Data Management Gateway 的第一
    sql-server azure connection-string azure-data-factory 2017-10-20

    0熱度

    1回答

    無法從ADF執行U-SQL腳本：ScriptPath不應爲空

    我們試圖從ADFv2運行U-SQL腳本，但存在阻止執行的錯誤。考慮到關於這個問題的MS文檔沒有什麼幫助，我再次要求SO幫助解決這個問題。 最初的問題是如何部署在U-SQL腳本ADLA。我們找不到任何有用的東西，最終只是將腳本複製粘貼到ADLA和Azure Blob存儲上，格式爲.usql和.txt。 （這也可能是其中一個問題）。 我們根據MS documentation創建的ARM，但它與錯誤而失
    azure azure-data-factory u-sql custom-activity 2017-12-27
最新問題