爲erlang尋找持久的，分佈式的工作隊列

Question

在重新發明輪子之前，我正在尋找指向滿足這些要求的開源項目的指針。

• 二郎實施雖然去或C是可能的，如果沒有太多的行李（如：依賴扭迷宮）
• 端點或客戶端二郎（如：我想二郎代碼當我做這些工作時運行。）
• 將作業分配給節點，並調用一些erlang函數來完成作業。
• 堅持以某種方式
• 的作業沒有主節點，不存在單一故障點
• 同質架構
• 管理的，可能會得到備份，而無需在地板上
• 工作是下降的作業的作業隊列做過不止一次的是確定
• 運行剖面像了Riak或Couchbase（如：啓動一個節點，然後啓動他人和指向它）

的Stro ng偏好輕量級的東西。在erlang中有很多過度鍛鍊的企業級解決方案，這些解決方案看起來像需要花費很長時間才能學習，因爲從頭開始重新創建它（事實上，我基本上構建瞭解決這個問題的解決方案，以回答某人其他人的問題在這裏stackoverflow我可以建立我所描述的，但這似乎是在erlang設計的中間那些需求之一。）

我考慮過： - ejabbered - 更多的消息框架 - rabitmq - 理論上這樣做，但每次我去他們的網站時，我都沉浸在抽象的海洋中。它似乎準備好做所有事情。我甚至不知道它是否有任何持久性。

修改即可添加：以下是使用儲物櫃進行分佈式鎖定的幻燈片。好像它解決問題的一個關鍵部分 http://www.slideshare.net/knutnesheim/locker-distributed-consistent-locking

進一步編輯（如果一個人想推出自己的。）：我真的要尋找的東西比RabbitMQ的更輕巧。我知道它可以做我想做的事，但看起來它的成本與自己做這件事的成本差不多，最終定製解決方案會更接近我真正需要的。

Answer 1

我們使用RabbitMQ執行此類任務。 RabbitMQ交換隊列綁定模型支持靈活的配置。您發佈到交易所，綁定確保消息到達隊列中。一個或多個工作進程可以訂閱隊列。隊列和交流可以持久。有人說完全理解RabbitMQ大概需要半年的時間。

Answer 2

我們使用RABBITMQ將我們所有的應用程序綁定到一組完整的事物中。在整個設置中是一箇中央RABBITMQ服務器，系統創建隊列，無論是持久還是臨時。由於RABBITMQ的可用性，我們的整個分銷系統都在其上運行。使用不同技術構建的系統通過RABBITMQ發送和接收來自其他系統的任務。

我們想出了一個消息格式，它可以是JSON或XML，系統之間可以相互通信。它太快了。然而，我不會在這裏進入太多的細節，但是，我必須在頂級的RABBITMQ客戶端上編寫一個OTP應用程序來從erlang程序員中抽取所有AMQP的東西。程序員知道的是一個APi，比如我發送一個請求到System A，準備消息格式M並且調用API：zeenode_amqp:req(SystemA,Message)。系統可以發送synchronous或asynchronous請求。

您應該從中獲得什麼：RABBITMQ對排隊系統非常有用。事實上，在我們的設置中，只要從客戶端打到RABBITMQ，就立即向服務器發送消息。通過使用精心設計的隊列和交換命名約定並仔細瞭解各種AMQP用例模型，它將非常適合您。

我認爲可以使用Gproc等流程字典結合Erlang Queue Module和Poolboy推出自己的產品。無論如何，我會推薦RABBITMQ。讓我知道，我可以寄給你一些圖書館，所以你研究它們，看看它們是否適合你。一旦你有一個好的RABBITMQ設置，按照他們站點上的文檔進行配置，然後你也安裝了Erlang amqp客戶端，那麼就可以動態地創建隊列和交換（無論你是否希望它們是持久的，取決於你在做什麼）。您甚至可以羣集RABBITMQ服務器，以確保可用性。