使用Python3與HDFS交互的最佳模塊是什麼？

Question

我看到有hdfs3，毒蛇咬傷等等。哪一個是最好的支持和綜合？

Answer 1

據我所知，並不像人們想象的那樣多。但我建議官方Python包hdfs 2.0.12可在website或從終端運行下載：

pip install hdfs 

的一些特點：

• 的Python（2和3）綁定爲WebHDFS （和HttpFS）API， 支持安全和不安全的羣集。
• 命令行界面 用於傳輸文件並啓動交互式客戶端shell，其別名爲 ，以實現方便的namenode URL緩存。
• 通過 可選擴展的其他功能：avro，可以直接從 HDFS讀取和寫入Avro文件。數據幀，以加載和保存熊貓數據框。 Kerberos，到 支持Kerberos認證的集羣。

Answer 2

我試過蛇咬傷，hdfs3和hdfs。

Snakebite只支持下載（不上傳），所以它不適合我。

在這些3只hdfs3的支持HA設置，所以這是我的選擇，但我沒讓它用數據節點的主機名（這裏所描述的問題：https://rainerpeter.wordpress.com/2014/02/12/connect-to-hdfs-running-in-ec2-using-public-ip-addresses/）與multihomed networks工作

所以我結束使用hdfs（2.0.16），因爲它支持上傳。我不得不使用bash添加一些解決方法來支持HA。

PS。有一篇比較有趣的文章比較了爲與Hadoop文件系統交互而開發的Python庫，文章位於http://wesmckinney.com/blog/python-hdfs-interfaces/