0
我正在使用flink從Azure數據湖中讀取數據。但flink無法找到Azure數據湖文件系統。如何配置flink來了解Azure Data湖文件系統。任何人都可以在此引導我？如何配置flink以瞭解Azure Data Lake文件系統？
A
回答
2
Flink能夠連接到任何Hadoop兼容文件系統（即實現org.apache.hadoop.fs.FileSystem）。請參閱此處以獲取解釋：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html
在core-site.xml中，應該添加ADLS特定的配置。無論Flink代理運行，您還需要類路徑中的ADL罐。
它基本上與本博客中概述的概念相同，但適用於Flink。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4
相關問題
- 1. Azure Data Lake Store - 文件權限更新
- 2. Azure Data Lake：對Azure Data Lake Store的請求未經授權
- 3. Azure Data Lake Store併發性
- 4. 微軟Azure Data Lake存儲
- 5. 如何將JSON文件上傳到Azure Data Lake表
- 6. 如何使用SSIS將文件上傳到Azure Data lake store？
- 7. 如何在Azure Data Lake存儲上預處理和解壓縮.gz文件？
- 8. 我們如何在Azure Data Lake Store文件夾內複製任何文件
- 9. Azure Data Factory：配置頻率
- 10. SSIS組件 - Azure Data Lake Store源無法加載平面文件
- 11. 授權超時：Azure數據工廠中的Azure Data Lake Store配置
- 12. 使用Azure Data Lake Analytics與傳統ETL方法的原因
- 13. Azure Data Lake中的U-SQL輸出
- 14. Azure Data Lake Analytics中的內存限制
- 15. Azure Data Lake存儲帶寬限制
- 16. Azure Data Lake Count所有項目
- 17. Usql與Azure Data Lake Store .net SDK
- 18. 我可以有任何關於Azure Data Lake內部的書嗎？
- 19. Hadoop Vs Data Lake
- 20. 從Azure Data Lake Store .NET SDK創建文件
- 21. Azure Data Lake Store - 從文件讀取時出錯
- 22. 無法提供從HDInsight羣集訪問Azure Data Lake Store文件
- 23. 合併來自Data lake store的文件
- 24. 如何使用C＃.NET和Powershell複製Azure Data Lake存儲內的文件
- 25. 壓縮編碼解碼器在Azure Data Lake中的影響
- 26. AWS Data Lake Dynamo與ElasticSearch
- 27. 具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL
- 28. 將Azure應用程序的Insight日誌文件導出到Azure Data Lake存儲
- 29. 如何在Azure分析服務中連接Data Lake商店
- 30. 瞭解.Net配置文件
我已遵循您的鏈接並配置了flink以瞭解Azure Data Lake文件系統 – Dhinesh
這是否正常工作？如果是這樣，請將此標記爲將來參考的答案。謝謝！ –