luigi

0熱度

1回答

當我運行luigi任務時，有時會遇到框架崩潰，導致以下任務全部失敗。在這裏，錯誤日誌信息： 2017-10-05 22:02:02,564 luigi-interface WARNING Failed pinging scheduler 2017-10-05 22:02:03,129 requests.packages.urllib3.connectionpool INFO Starting

0熱度

1回答

爲圖像處理創建管道

我正在處理一些非常簡單的圖像處理步驟。步驟如下：從AWS S3 下載圖像的特定ID從GIF 格式化圖像或任何以可能的話JPG 檢查圖像尺寸調整圖像（只是在想它：上採樣/下采樣圖像 - 目前還不能確定，如果這一步來了）圖像分類和更新數據庫信息得到一張ID和重複1次。如果我不得不快速實現它，而不會想到我只需爲每個步驟編寫一個帶有子函數的簡單python腳本（並且在出現問題時拋出異常 - 某些

0熱度

1回答

如何避免在Luigi內部使用Google-Cloud-Dataflow導入錯誤

我有多個相互依賴的進程。我正在使用Luigi來管理這些依賴關係。由於有多個流程，我已經對每個流程進行了包裝。 I.e進程的所有相關文件都位於具有init文件的文件夾中。我正在使用一個Luigi任務來查看它的依賴關係，並執行那個任務需要完成的進程。其中一項任務是數據流作業。當我將其稱爲數據流的工作是提出了一個導入錯誤，導入錯誤：沒有模塊名爲TaskBQ2DS.TaskBQ2DS (38c7b56

0熱度

1回答

Luigi適合在大量小文件（100k以上）上建立管道

我的第一個直覺反應是Luigi不適合這樣的事情，但我希望「管道」功能和所有東西都一直指向我到Luigi/Airflow。我無法使用Airflow，因爲它是Windows環境。我用例：所以目前從我的「源」文件夾中，我們有20臺左右的機器產生XML數據。隨着時間的推移，某些進程會將這些文件連續存放在每臺計算機上的文件夾中（其日誌數據）。在任何特定的日子裏，這些機器可能在文件夾中有0個文件，或者它可

0熱度

1回答

luigi中的默認DateSecondParameter（python）

我正在使用luigi在Python中，並試圖瞭解luigi參數如何在編譯時與運行時一起工作。 import luigi import datetime class HelloWorld(luigi.Task): run_dt = luigi.DateSecondParameter(default = datetime.datetime.now()) def requi

1熱度

2回答

luigi批處理模塊用於直批處理任務

我有500個鏈接要下載，並且想要通過例如10個項目對它們進行批處理。這個僞代碼是怎麼樣的？ class BatchJobTask(luigi.Task) items = luigi.Parameter() def run(self): listURLs = [] with ('urls_chunk', 'r') as urls for l

0熱度

1回答

運行並行任務SciLuigi

我被這個問題困住了。我正在使用SciLuigi框架進行任務管理，但我無法運行並行任務。 class Workflow(sl.WorkflowTask): def workflow(self): task1 = self.new_task('task 1', Task1) task2 = self.new_task('task 2', Task2)

0熱度

1回答

使用python腳本調度sidekiq作業

我使用rails應用程序運行sidekiq。我需要能夠從python腳本運行一個作業（因爲我使用Luigi來運行一般任務）。我正在尋找一個Python庫來處理Sidekiq API，但到目前爲止還沒有運氣。對此有何想法或想法？謝謝！

2熱度

1回答

當運行時依賴完成時，Luigi任務返回未實現的依賴關係

我對Luigi創建流程相對陌生，並且試圖理解爲什麼我的小工作流導致未實現的依賴關係。我試圖運行任務StageProviders（），它具有單個依賴項ErrorsLogFile（）。 StageProviders之前必須運行的任務只是在共享驅動器上創建空白文件的任務。當我嘗試下面的流程運行StageProviders任務如下我收到以下消息：代碼： #!/usr/local/bin/python

0熱度

1回答

Luigi：錯誤，而Parallazing luigi任務通過構建函數

我正在嘗試luigi.build函數的luigi多處理能力。但我在執行時遇到一些庫錯誤。明年在self._add（項目，is_complete）：文件「/home/manoj/anaconda2/lib/python2.7/site-packages/luigi/worker.py」，線路604，在_add 自我._validate_dependency（d）文件「/home/manoj