使用帶Servlet的BlockingQueue來保存對象

Question

首先，這可能是一個愚蠢的問題，但我希望有人會告訴我，以及爲什麼。我也很抱歉，如果我的解釋是什麼/爲什麼缺乏。

我正在使用一個servlet來上傳一個巨大的（247MB）文件，這是描繪的管道（|）。我抓取20個字段中的5個，創建一個對象，然後將其添加到列表中。一旦完成，我將該列表傳遞給名爲persistList（）的OpenJPA事務方法。

這將是可以的，除了文件的大小。這是永恆的，所以我正在尋找一種方法來改善它。我的想法是在新線程中將BlockingQueue與persist/persistList方法結合使用。不幸的是，我在java併發方面的技能有點弱。

我想做的事情有意義嗎？如果是這樣，有沒有人做過類似的事情？

Answer 1

Servlets應該在很短的時間內響應請求。在這種情況下，文件內容的持久性需要是異步作業，因此：

1. 該小服務程序應回覆一些關於上傳作業的文本，預計完成時間或類似內容。
2. 上傳的內容應以二進制形式寫入某個臨時空間，而不是全部保存在內存中。這是多部分後期圖書館工作的常用方式。
3. 您應該有一個單獨的服務阻止未決作業隊列。一旦找到工作，它就會處理它。
4. 「作業」僅僅是上傳發生時寫入的臨時文件的一些句柄......以及任何元數據，比如誰上傳了它，作業ID等。
5. 持續服務需要上傳大量的行，但是使其看起來像是「原子」，或者將中間狀態作爲表模型的一部分進行建模，或者寫入臨時空間。
6. 如果您正在寫入臨時表，然後將所有內容複製到活動表中，請記住在數據庫級別具有足夠的日誌空間和臨時空間。
7. 如果您有完整的J2EE堆棧，請考慮將作業隊列建模爲JMS隊列，以便恢復很有意義。再一次，請記住有適當的XA邊界，所以所有行持續存在於外部事務中。
8. 最後，請考慮還有一個狀態檢查API和/或UI，您可以在其中確定任何特定上載作業的狀態：待處理/正在處理/已完成。