我想從oracle數據庫中使用ExecuteSQL處理器獲取數據。我有一些疑問,例如假設在我的oracle數據庫中有15條記錄。在我運行ExecuteSQL處理器時,它會作爲流連續運行將整個記錄作爲單個文件處理並存儲在HDFS中,並重復執行相同的操作。因此,許多文件將存放在hdfs位置,它將從Oracle數據庫獲取已獲取的記錄,並且這些文件包含相同的數據。這個處理器的運行方式是它必須從oracle db獲取所有數據並將其存儲爲單個文件,並且在將新記錄插入到db中時,它必須將這些記錄攝入到hdfs位置?Apache Nifi ExecuteSQL處理器
3
A
回答
3
看看在QueryDatabaseTable處理器:
你需要告訴該處理器的一個或多個列用來追蹤新的記錄,這是最大的價值Columns屬性。如果你的表有一個id列,你可以使用它,並且每次運行時它都會跟蹤最後一個被查看的id,並在下一次執行時開始。
相關問題
- 1. Apache Nifi中的ExecuteSQL處理器
- 2. NiFi ExecuteSQL處理器Charset Exceprion
- 3. 錯誤的Apache NiFi的ExecuteSQL處理器:org.apache.avro.UnresolvedUnionException:不癒合[ 「空」, 「長」]
- 4. Apache NIFI「執行處理器」
- 5. NiFi-1.0.0 - ExecuteSQL CrateIO
- 6. NiFi SplitJSON和ExecuteSQL
- 7. Apache Nifi GetFTP處理器動態輸入
- 8. NiFi-1.0.0 - ExecuteSQL,事件驅動
- 9. NIFI - 隔離式處理器
- 10. Apache Nifi GetTwitter
- 11. 如何在apache nifi中獲取處理器的group-id?
- 12. Apache NiFi處理器中數據起源的目的是什麼
- 13. Apache Nifi處理器中的多值選項
- 14. Apache Nifi讀取處理器中的配置屬性
- 15. GetFile處理器在Apache NiFi中持續運行
- 16. Apache Nifi定製處理器與彈簧支持
- 17. 添加自定義處理器後,Apache Nifi無法啓動
- 18. 當我們在Apache的配置憑據在PutHDFS處理器NiFi
- 19. Apache Nifi RouteHL7問題
- 20. nifi 1.0.0 - 擴展標準處理器
- 21. Apache Nifi SOCKS代理設置
- 22. Apache Nifi解壓縮
- 23. Apache Nifi - 從Avro提取屬性
- 24. QNX上的Apache Nifi
- 25. Nifi:將屬性處理器路由到錯誤的處理器
- 26. 基於Nifi處理器的cron調度
- 27. Nifi錯誤Wwth putsolrcontentstream處理器
- 28. 阿帕奇Nifi JOLTTransformJSON處理器
- 29. NiFi協調器 - 處理數據
- 30. 需要重置nifi listSFTP處理器
我剛剛添加了一篇關於此主題的文章:https://community.hortonworks.com/content/kbentry/51902/incremental-fetch-in-nifi-with-querydatabasetable.html – mattyb