將文件傳輸到消息代理

Question

我們正在建立一個數據庫，其中包含一個前端程序，用於解析csv文件並將其轉儲到數據庫中。文件同時來自多個位置，並且如果出現任何問題需要保留。

像rabbitmq這樣的消息代理是一個很好的應用程序嗎？我需要一些可以從後端讀​​取的排隊。

Answer 1

像rabbitmq這樣的消息代理是一個很好的應用程序嗎？

是的，但我不建議你發送大文件到RabbitMQ，特別是如果你想使用持久性消息。如果是這種情況，我會將文件保存到存儲（雲，緩存等），並將其名稱/路徑發送到一條消息中。工作進程會選擇一條消息，然後下載一個文件，解析它並將其內容保存到數據庫。通過這種方式，您可以在工作進程中分發文件並減少代理負載。它可以讓你輕鬆擴展。