python-gearman

0熱度

1回答

我正在使用Scrapy 1.0.5和Gearman來創建分佈式的蜘蛛。這個想法是建立一個蜘蛛，從一個齒輪工人腳本中調用它，並一次傳遞20個URL，從齒輪人客戶端爬到工人，然後爬到蜘蛛。我能夠啓動工作者，將URL從客戶端傳遞到蜘蛛爬行。第一個URL或URL數組會被抓取並抓取。蜘蛛完成後，我無法重用它。我得到蜘蛛關閉的日誌消息。當我再次啓動客戶端時，蜘蛛會重新打開，但不會抓取。這裏是我的工人：

2熱度

1回答

Python的Gearman的基本的例子錯誤

我想串逆轉的使用Python的Gearman模塊我的本地已設立使用端口4730 IIS但是我得到的錯誤 raise UnknownCommandError(missing_callback_msg) UnknownCommandError: Could not handle command: 'GEARMAN_COMMAND_TEXT_COMMAND' - {'raw_text': 'HTTP

1熱度

1回答

從本地gearman客戶端調用遠程gearman工人？

是否可以從本地系統調用遠程gearman工人？我試圖用我的遠程蔚藍的服務器IP呼叫：客戶端在本地系統上： gm_client = gearman.GearmanClient(['204.43.9.41:4730']) sent = sys.argv[1] completed_job_request = gm_client.submit_job("load_db", sent) 遠程工作人

1熱度

2回答

如何推遲/推遲Gearman工作？

我正在使用gearman來同步不同服務器上的數據。我們有1主服務器以及例如10個本地服務器。讓我描述一種可能的情況。比方說，齒輪工人開始工作，5個工作完成，5臺服務器上的數據被同步。當下一份工作開始時，比如說，我們失去了與服務器的連接，現在它不可用。通過齒輪工的邏輯，它一次又一次地重試。所以剩下的工作（對於服務器7,8,9,10）將不會執行，直到第六個工作沒有完成。最好的解決辦法是推遲工作並將其放

0熱度

1回答

gearman停止啓動重啓命令

啓動，重啓和停止的命令是什麼gearman？到目前爲止，我知道： gearadmin --shutdown # stop gearmand -d # I believe it is to restart. Not sure. 任何想法來管理gearman？

-1熱度

1回答

如何使用Django，Tastypie，Redis和任務隊列Gearman創建像Facebook這樣的新聞動態？

任何人都可以推薦或創建一個關於如何使Facebook類似於使用Django，Tastypie（Django的webservice API框架），Redis（鍵值存儲）和Gearman（任務隊列）的新聞Feed的教程？當前我有用戶模型，發佈模型，收藏夾模型和評論模型。我使用這些模型創建了Tastypie資源，以支持收藏，喜歡，評論和發佈。我想知道如何生成直接應用於用戶的feed動作。例如： Us

0熱度

1回答

是PYTHON Gearman Worker接受多任務

例如：我有一個名爲「URLDownload」的任務，任務的功能是從網上下載一個大文件。現在我有一個工作進程正在運行，但有大約1000個文件需要下載。客戶端進程很容易創建1000個任務，並將它們發送到Gearman服務器。我的問題是工作進程會做的任務一個接一個，否則將在同一時間接受多任務，如果工作進程，可以接受多任務，所以如何限制任務工作進程中的-pool-size。

1熱度

2回答

錯誤運行基本的Python-Gearman的例子

我試圖運行使用python-的Gearman庫提供here的Gearman的一個基本的例子。我正在運行的Python 2.7.3 工人： import gearman gm_worker = gearman.GearmanWorker(['localhost:4730']) def task_listener_reverse(gearman_worker, gearman_job):

1熱度

1回答

的Gearman提交多個作業AttributeError的：「海峽」對象有沒有屬性「得到」

我想在這裏實現的是提交多個作業到的Gearman和打印結果返回由工人一旦他們完成與處理工作。我已經通過實例上寫着： https://pythonhosted.org/gearman/1to2.html#client-multiple-tasks https://pythonhosted.org/gearman/client.html 我又試圖實現以下方式check_request_status：

0熱度

1回答

在Python中將數組傳遞到類中

我是一個php的傢伙，我不太瞭解python，所以......如果我的問題很愚蠢，不好意思。我有2個PHP腳本（client.php和worker.php）使用Gearman，我需要轉換爲Python版本。我已經能夠部分地做到這一點，但我被卡住了。首先，這裏有我的兩個腳本： client.py #!/usr/bin/env python import gearman import json