我有一個用例,其中應用程序的輸入分批進入XML文件。例如,每晚的一批銀行交易。我正在嘗試查看是否可以使用事件採購創建事件日誌。根據我目前閱讀的內容,這些示例似乎基於用戶驅動的輸入(點擊流,來自用戶界面的更新等)。使用分佈式日誌機制(如Kafka)的事件採購是基於批處理/文件的輸入的有效方法嗎?事件採購是否適用於批量輸入?
下面是我想採取的方法:
- 接受輸入的文件/ XML
- 運行在內存的一些基本驗證了一批。
- 將批量輸入轉換爲一系列事件
- 將事件日誌寫入Kafka主題。
- 使用事件日誌將數據存儲到數據庫,發送事件 到搜索引擎,更新緩存,運行火花工作要做聚合 等,
- 重複此過程,對於其他傳入批次。
如果這種方法效率不高,還有哪些其他選項可用於分佈式處理此類輸入?