我有一個每天將文件導入Data lake store的軟件包。這是不同的值(相同的列等)相同的文件。我的想法是將這些文件合併到Data Lake上的單個文件中,以獲得月度報告。我想調查U-SQL,所以我的問題是:
這可能與U-SQL有關嗎?
如果不可能有其他的選擇嗎?合併來自Data lake store的文件
0
A
回答
3
很容易合併兩個文件中的記錄並寫入一個新文件。下面是步驟
- 使用EXTRACT
- 使用EXTRACT 讀取當前主文件的所有記錄讀取所有新文件的
- 使用UNION ALL的記錄合併:https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx
- 輸出寫入使用OUTPUT語句
主文件對於一個快速的U SQL教程去這裏:https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-get-started
0
我沒有在Azure數據庫中調用過,但我可以想象,Microsoft的數據工具可以爲此創建一個應用程序。可以試試嗎?
相關問題
- 1. Azure Data Lake Store併發性
- 2. Azure Data Lake Store - 文件權限更新
- 3. Azure Data Lake:對Azure Data Lake Store的請求未經授權
- 4. SSIS組件 - Azure Data Lake Store源無法加載平面文件
- 5. Usql與Azure Data Lake Store .net SDK
- 6. 從Azure Data Lake Store .NET SDK創建文件
- 7. Azure Data Lake Store - 從文件讀取時出錯
- 8. 如何使用SSIS將文件上傳到Azure Data lake store?
- 9. 無法提供從HDInsight羣集訪問Azure Data Lake Store文件
- 10. 我們如何在Azure Data Lake Store文件夾內複製任何文件
- 11. 使用Azure Data Lake Store的MsConcat函數合併CSV文件時,可以跳過標題行嗎?
- 12. 將Azure事件中心與Data Lake Store連接
- 13. Hadoop Vs Data Lake
- 14. 具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL
- 15. 對Data Lake Store鏈接服務的Azure批處理支持
- 16. 是否有適用於Azure Data Lake Store的本地模擬器
- 17. 微軟Azure Data Lake存儲
- 18. 來自.Net SDK的Data Lake Analytics調用(用戶不授權)
- 19. Azure Data Lake Store SDK:FileStatusProperties.ChildrenNum屬性始終爲空
- 20. AWS Data Lake Dynamo與ElasticSearch
- 21. Azure Data Lake Count所有項目
- 22. 合併來自不同文件的列
- 23. 授權超時:Azure數據工廠中的Azure Data Lake Store配置
- 24. 將DocumentDB集合移動到Azure Data Lake存儲
- 25. Azure Data Lake中的U-SQL輸出
- 26. 如何通過azure power shell命令讀取Azure Data Lake Store中存在的文件?
- 27. 如何將日期時間附加到由數據工廠發佈到Azure Data Lake Store的文件名?
- 28. 如何將JSON文件上傳到Azure Data Lake表
- 29. 如何配置flink以瞭解Azure Data Lake文件系統?
- 30. Azure Data Lake Analytics中的內存限制
謝謝你的回答。我會嘗試使用此 https://msdn.microsoft.com/en-us/library/azure/mt621340.aspx?f=255&MSPPError=-2147217396 – DraganB