在Azure的CSV到AVRO轉換

Question

我想將存儲在azure數據湖存儲中的csv文件轉換爲創建方案的avro文件。有沒有任何一種具有相同目的的示例源代碼？

Answer 1

您可以使用Azure Data Lake Analytics進行此操作。在https://github.com/Azure/usql/blob/master/Examples/DataFormats/Microsoft.Analytics.Samples.Formats/Avro/AvroExtractor.cs有一個樣品Avro提取器。您可以輕鬆地將代碼調整爲輸出。

另一種可能性是在數據湖存儲上啓動HDInsight集羣並使用Pig，Hive或Spark。