通過Python連接到Cloudera集羣

Question

我有一個啓動並運行的Cloudera集羣。

我目前正在編寫一個查詢API以獲取響應的Python應用程序。我正在將此響應寫入應用程序中的文本文件。

但是，我想也將該文本文件以編程方式導出到應用程序中的cloudera集羣。這可能嗎？

請您指點一些參考或示例代碼來實現這一目標嗎？或者乾脆就你的想法和建議。

謝謝！

Answer 1

你可能想看看Spotify的Snakebite項目，它可以讓你直接通過Python使用HDFS。 http://spotify.github.io/snakebite/

from snakebite.client import Client 
client = Client("localhost", 54310, use_trash=False) 
for x in client.ls(['/']): 
    print x