Apache NIFI「ExecuteSQL處理器」可以將大量的選擇結果以數據流的形式流化爲「x」MB嗎?Apache NIFI「執行處理器」
2
A
回答
6
ExecuteSQL處理器可以「流」大量的行,因爲它會直接將數據流傳輸到FlowFile內容(這不會保存在內存/堆中),因此非常有效。儘管如此,目前還沒有結果。儘管如此,有一張門票https://issues.apache.org/jira/browse/NIFI-1251來提供這種功能。
0
現在可以使用QueryDatabaseTable處理器,該處理器支持通過「每個流量文件的最大行數」屬性進行分塊處理。
相關問題
- 1. Apache Nifi ExecuteSQL處理器
- 2. Apache Nifi中的ExecuteSQL處理器
- 3. Apache Nifi GetFTP處理器動態輸入
- 4. apache nifi總執行時間
- 5. GetFile處理器在Apache NiFi中持續運行
- 6. NiFi ExecuteSQL處理器Charset Exceprion
- 7. NIFI - 隔離式處理器
- 8. 如何在apache nifi中獲取處理器的group-id?
- 9. Apache NiFi處理器中數據起源的目的是什麼
- 10. Apache Nifi處理器中的多值選項
- 11. Apache Nifi讀取處理器中的配置屬性
- 12. Apache Nifi定製處理器與彈簧支持
- 13. 錯誤的Apache NiFi的ExecuteSQL處理器:org.apache.avro.UnresolvedUnionException:不癒合[ 「空」, 「長」]
- 14. 添加自定義處理器後,Apache Nifi無法啓動
- 15. 當我們在Apache的配置憑據在PutHDFS處理器NiFi
- 16. nifi 1.0.0 - 擴展標準處理器
- 17. Apache Nifi SOCKS代理設置
- 18. Nifi:將屬性處理器路由到錯誤的處理器
- 19. 基於Nifi處理器的cron調度
- 20. Nifi錯誤Wwth putsolrcontentstream處理器
- 21. 阿帕奇Nifi JOLTTransformJSON處理器
- 22. NiFi協調器 - 處理數據
- 23. 需要重置nifi listSFTP處理器
- 24. Apache Nifi GetTwitter
- 25. Apache Spark:如何在執行器中處理分區
- 26. 如何使用apache nifi來處理excel文件?
- 27. 使用NiFi處理器對csv數據進行分組
- 28. 的UnknownHostException在Nifi GetHttp處理器在VirtualBox(Hortonworks沙盒)運行
- 29. Apache Nifi:如何使用Nifi處理器將字符串(文本/純文本)轉換爲JSON類型?
- 30. 如何在NIFI中創建自定義處理器
從我的理解來看,它是爲大數據查詢而設計的,這就是爲什麼它會傳輸數據。我不認爲有任何方法來分塊數據。我認爲分塊或「批處理」專門用於獲取和後處理器。 – pyRabbit