可以將大型二進制文件放入RabbitMQ隊列

Question

我試圖設計一個多服務器更新部署系統，我在考慮是否對大二進制字符串有任何限制。如果我把例如一個字符串從一個100MB的文件放入隊列中？

感謝，
佩德羅

Answer 1

搜索「RabbitMQ Large Files」止跌回升建議的顯著量上的主題。

標準答案似乎是理論上它應該能夠處理它，但是您可能會發現您的經紀人變得沒有反應。

如果你有擁有隊列的兩端（發送者/接收者），那麼你可以考慮將數據分塊成更易於管理的數據塊。例如100KB大塊。這對你的經紀人會更好。其中一個來自上面的搜索引擎鏈接了一個用ruby編寫的「流式傳輸」發送器，它實現了分塊。

如果沒有自己的隊列兩側，然後考慮使用「claim check」，你的消息中包含較大的BLOB /文件/儲存位置數據更適合它的位置的形式。

Answer 2

我已經做到了，我一定會推薦它。將文件存儲在GridFS（MongoDB）等文件中可能更好，然後在RabbitMQ消息中引用_id。然後，您可以使用Mongo的界面在消費者上拉取文件，並在完成後刪除它。

我在GridFS和它的rocksolid中運行了大約20M的對象。