luigi

1熱度

1回答

我收到錯誤「異常：無法映射無，任務/字典/列表」。我是路易吉的新手。請告知如何通過從文件讀取數據插入postgres表。

0熱度

1回答

我在配置luigi每任務重試策略時遇到問題。我如下配置的全局luigi.cfg文件： class SomeTask(luigi.Task): retry_count = 3 將重寫路易吉RETRY_COUNT足夠了： [scheduler] retry-delay: 1 retry_count: 5 [worker] keep_alive: true wait_inte

1熱度

2回答

錯誤：luigi中的未捕獲異常（TypeError：必須是字符串或緩衝區，而不是無）

我在從Python代碼調用/觸發Luigi任務時遇到問題。基本上我需要一個觸發任務路易吉就像我們做的命令行，但是從Python代碼我使用supbrocess.popen使用shell命令我打電話給一個路易吉任務有命名爲test.py一個測試代碼和在模塊 task_scheduler.py測試類，其中包含我的路易任務（在相同的位置/ DIR兩個模塊） import luigi

0熱度

1回答

如何使用Luigi更新和刪除數據？

luigi可以使用哪些模塊將數據更新/刪除到數據庫中？我有複製到表和sql鍊金術插入數據。更新和刪除文件不清楚如何實現？請指教。

2熱度

1回答

Luigi Python中的MongoDB

我想知道是否有方法輸出到Luigi中的MongoDB。我在文檔中看到它們支持文件（本地FS，HDFS），S3，PostgreSQL但不支持MongoDB。如果沒有，有人可以解釋我爲什麼不呢？也許這是一個壞主意嗎？我想將數據存儲在數據庫中，因爲我可以通過查詢來查看它。不過，我正在使用mongodb，我不想安裝另一個數據庫。我不需要關係數據庫，因爲我只使用數據庫存儲和查詢（NoSql）沒有關係，所以最

0熱度

2回答

Luigi參數如何工作？

所以我有兩個任務（讓我們說TaskA和TaskB）。我希望這兩項任務每小時運行一次，但TaskB需要TaskA。 TaskB沒有任何參數，但TaskA有一個日期和小時的兩個參數。如果我在命令行上運行TaskB，是否需要傳遞參數？

3熱度

1回答

路易吉寫文件直接到S3

我創建與路易吉數據管道，我試圖將處理過的數據S3桶直接寫。我使用的代碼是： import luigi from luigi.s3 import S3Target, S3Client class myTask(luigi.Task): def requires(self): return otherTask() def output(self):

3熱度

1回答

如何讓我的Luigi調度程序利用多個內核並行調度標誌？

我在luigi.cfg文件以下行（所有節點上，調度和工人）： [core] parallel-scheduling: true 然而，當我監視CPU使用率在我的路易吉調度器（具有約〜4000個任務的圖形，處理來自大約100名工作人員的請求），它只使用調度程序中的單個內核，而單個線程通常會達到100％的CPU利用率。我的理解是這個配置變量應該並行調度任務。源代碼建議此標誌的確應該在調度程序上

1熱度

1回答

Luigi每天運行熊貓腳本？

我有一堆python文件，爲各種數據源做端到端的文件處理。例如，survey.py會用熊貓讀取文件，添加列，重命名內容，做一些計算，然後將修改的文件保存回磁盤。 driver.py將遵循該文件的相同過程等。對於幾十個文件，這種結構正在發生。然後我有一個名爲process_all的文件，它基本上只是以某種順序運行每個python文件（某些文件依賴於其他文件）。經過進一步的研究，我偶然發現了一個名

0熱度

3回答

如何將多個參數傳遞給Luigi子任務？

我有一個路易吉任務requires一個子任務。子任務取決於父任務傳遞的參數（即執行require ing的參數）。我知道你可以指定子任務可以通過設置使用參數... def requires(self): return subTask(some_parameter) ...然後在子任務，通過設置接收參數... x = luigi.Parameter() 只出現讓你通過一個參數。通過