從python訪問服務器上的Hadoop

Question

首先，我需要說我是一個對遠程服務器知之甚少的女孩。這裏提出的很多類似的問題對我來說很難理解。所以我來問。

我的任務是生成一個腳本，它可以幫助我從服務器獲取一些數據。 數據存儲在Hadoop中。通常我使用用戶名和臨時密碼登錄服務器。我在服務器上運行'hive'子句。在我獲得服務器上的所有數據之後，我下載了它。然後在我的電腦上，我使用Python在自己的計算機上操作數據。

現在我希望用一個Python腳本來做到這一點。 我發現節儉套餐，但不知道如何開始理解。 我不知道應該在我的電腦上安裝配置單元，然後使用sys來運行配置單元。或者我應該登錄服務器並在腳本中的服務器上運行配置單元？ 無論如何，可以節儉幫我登錄服務器嗎？

非常感謝！

Answer 1

雖然節儉一定能夠幫助你，建議使用更多更高級別的客戶端。他們通常都經過很好的測試，並將保持所有（或大部分）低水平的東西遠離你。特別是，HBase看起來很有希望你的情況。我建議查看一下，並將其與this tutorial中描述的Hadoop Python Thrift客戶端進行比較。