配置SnakeBite HDFS客戶端以使用高可用性模式

Question

我使用snakebite庫從我的airflow dags訪問HDFS。

我的HDFS集羣已升級到高可用性模式。這意味着當namenode不是活動節點時，配置爲僅指向一個名稱節點的客戶端將失敗。

我可以使用什麼策略使高可用性模式高度可用？我可以配置snakebite客戶端故障轉移到另一個節點嗎？我可以使用某種負載均衡器將流量引導到正確的名稱節點嗎？

Answer 1

事實證明，Snakebite沒有一個，但有兩個解決方案來解決這個問題：AutoConfigClient，它將從hadoop配置中取得配置，HAClient取兩個名稱節點。

就我而言，我實際上是通過氣流使用蛇咬傷。事實證明，氣流的HDFSHook足夠聰明，可以處理一個連接中提供的兩個名稱節點，然後使用HAClient。