2015-12-02 80 views
2

Apache NIFI「ExecuteSQL處理器」可以將大量的選擇結果以數據流的形式流化爲「x」MB嗎?Apache NIFI「執行處理器」

+0

從我的理解來看,它是爲大數據查詢而設計的,這就是爲什麼它會傳輸數據。我不認爲有任何方法來分塊數據。我認爲分塊或「批處理」專門用於獲取和後處理器。 – pyRabbit

回答

6

ExecuteSQL處理器可以「流」大量的行,因爲它會直接將數據流傳輸到FlowFile內容(這不會保存在內存/堆中),因此非常有效。儘管如此,目前還沒有結果。儘管如此,有一張門票https://issues.apache.org/jira/browse/NIFI-1251來提供這種功能。

0

現在可以使用QueryDatabaseTable處理器,該處理器支持通過「每個流量文件的最大行數」屬性進行分塊處理。

相關問題