snakebite

0熱度

1回答

我想使用snakebite檢查文件是否存在於hdfs目錄中，如果不存在，就創建它。我下面就touchzhere的文檔，並使用它像這樣： def createFile(client): if client.test("/user/test/sample.txt", exists=True): print "file exists" else: print

4熱度

1回答

如何重置luigi任務狀態？

目前，我有一堆排隊在一起的luigi任務，帶有一個簡單的依賴鏈（a -> b -> c -> d）。 d首先執行，最後執行a。 a是被觸發的任務。除a之外的所有目標均返回一個luigi.LocalTarget()對象，並且具有一個字符串（包含日期和時間）的通用luigi.Parameter()。在Luigi中央服務器上運行（已啓用歷史記錄）。的問題是，當我重新運行的任務說a，路易吉檢查歷史，如

0熱度

1回答

如何使用snakebite python客戶端訪問kerberized集羣

我一直在努力如何將必要的參數傳遞給snakebite實用程序，以便它能夠訪問kerberized集羣。我已經嘗試在/ usr/local/etc/hadoop路徑中設置必要的conf目錄，並使用kinit初始化和獲取票證。在這方面的任何幫助或工作示例將不勝感激。注意：我已經通過使用'hadoop'CLI從同一臺機器訪問集羣，測試了環境設置是正確的。

0熱度

1回答

無法使用蛇咬獲取並顯示文件

我正在嘗試snakebite。我開始了下面的客戶端： from snakebite.client import Client client = Client("my.host.com", 8020, effective_user='datascientist') 首先，我試圖列出用戶目錄： for x in client.ls(['/user/datascientist']): p

0熱度

1回答

在hdfs中移動和合並目錄

我正在更改hdfs目錄結構。目前的一個情況如下： .../customers/customers1/2016-05-16-10/lots_of_files1.csv .../customers/customers2/2016-05-16-10/lots_of_files2.csv .../customers/customers3/2016-05-16-10/lots_of_files1.cs

1熱度

1回答

Python的HDFS蛇傷：方法只適用於打印

我現在用的是毒蛇咬傷客戶從 https://github.com/spotify/snakebite 工作，我注意到一個奇怪的現象，當我試圖讓一個目錄或HDFS中移動文件。這是我的代碼。它所做的就是將源目錄的內容移動到目標目錄。於是最後，顯示目標目錄 def purge_pending(self,source_dir,dest_dir): if(self.hdfs_serpent.t

3熱度

1回答

配置SnakeBite HDFS客戶端以使用高可用性模式

我使用snakebite庫從我的airflow dags訪問HDFS。我的HDFS集羣已升級到高可用性模式。這意味着當namenode不是活動節點時，配置爲僅指向一個名稱節點的客戶端將失敗。我可以使用什麼策略使高可用性模式高度可用？我可以配置snakebite客戶端故障轉移到另一個節點嗎？我可以使用某種負載均衡器將流量引導到正確的名稱節點嗎？