處理日誌/交易量巨大

Question

我們有一個多線程企業應用程序，它部署在三個不同的數據中心，它們接收來自上游系統的隊列中的XML消息。應用程序正在耗盡的數據量非常大，系統寫入的日誌大小爲200GB /小時。日誌保持一個非常短的時間。應用程序基本上寫入cassandra DB/IBM Extreme Scale Grid/Oracle DB。現在確切的問題是，我們沒有跟蹤應用程序接收/處理的事務。說，與上游系統有很多數據同步問題，我們沒有辦法跟蹤我們是否在一段時間後成功地收集/處理消息。由於我們的基礎設施限制，我們也沒有能力保存消息或將日誌重定向到任何大數據文件系統。有沒有辦法解決這個問題。請給出您的意見和建議。提前致謝。

Answer 1

對於問題確定，最簡單和最簡單的方法是確保每個XML消息都有一個唯一的事務ID。因此，您的應用程序會記錄/存儲事務標識，而不是整個XML消息。當有問題時，您比較其中一個或多個缺失的事務id。並且缺少事務標識，您將發送方應用程序重新發送XML消息。