控制Nifi從3個表中讀取合併來自所有表的內容

Question

我想讀取3個HBase表（使用GetHBase處理器）上的新表項並將它們合併到單個JSON中。但是，每當新插入發生在其各自的表上時，每個GetHBase處理器都會運行。在合併內容之後（使用MergeContent處理器），我爲3個表格的數據分別獲得了3個JSON。有沒有辦法控制HBase的讀取和合並他們只有一次所有3個表獲取新的數據？

Answer 1

如果您將三個GetHBase處理器安排在相同的頻率上，讓我們說每5分鐘，並同時啓動它們，那麼它們都應該在相似的時間生成一個流文件。唯一可能的情況是，如果他們需要更長時間才能從HBase中檢索數據，那麼您可能希望確保調度時間比HBase最長的預期檢索時間長。

一旦它們都安排在相同的頻率上，然後可以設置MergeContent的最小組大小爲3，它應該等到看到所有三個流文件。

如果您要求加入三張表中的記錄，或者簡單地合併它們，我不清楚。上面的方法是關於合併它們，並且您將獲得一個流文件，其中內容包含三個傳入流文件的內容。