1
想知道是否有某種「掛鉤」放置一段代碼，當apache束流管道正在關閉時執行（無論出於何種原因 - 崩潰，取消）Google Cloud Dataflow - Apache Beam - 管道關閉掛鉤
每次數據流停止時，我需要刪除pubsub主題上的訂閱。
A
回答
0
Apache Beam並不適合這種流程。爲此，您可能需要查看業務流程引擎，如Apache Airflow。
使用Airflow，您應該能夠安排任何類型的腳本在Beam管線完成/失敗/被取消之後運行等。請看看它！
相關問題
- 1. google-cloud-dataflow vs apache-beam
- 2. Google Cloud Dataflow（Apache Beam） - 我可以使用SideInputs和TextIO.write嗎？
- 3. Google Cloud Dataflow的替代管道轉輪
- 4. 在Cloud Dataflow中使用Beam SDK
- 5. 更改Google Cloud Dataflow BigQuery Priority
- 6. Google Cloud Dataflow管道中的例外情況從BigQuery到Cloud Bigtable
- 7. Cloud Dataflow/Beam：側面輸入限制
- 8. 關閉掛鉤C++
- 9. Truststore和Google Cloud Dataflow
- 10. Google Cloud DataFlow：將多個管道同步/合併爲一個
- 11. 當關閉掛鉤破壞
- 12. 爲什麼從Dataflow/Beam管道寫入BigQuery很慢？
- 13. 如何使用Beam 2.0創建Dataflow模板管道？
- 14. Python Apache Beam Pipeline狀態API調用
- 15. Apache Camel：SFTP端點 - 管道關閉問題
- 16. Apache Beam：無法找到gs的註冊商
- 17. Google Cloud Dataflow和Google Cloud Dataproc有什麼區別？
- 18. Apache的駱駝任何關閉掛鉤交流
- 19. Dataflow中的自定義Apache Beam Python版本
- 20. 帶有PubSubIO資源設置的Google Cloud Dataflow流式管道失敗
- 21. 使用Beam Java SDK在Google Dataflow上安裝apt-get依賴關係
- 22. 如何使用Google Cloud Dataflow解決java.lang.NoSuchMethodError：com.google.api.services.dataflow.model.Environment.setSdkPipelineOptions？
- 23. Apache Beam with Dataflow - 從BigQuery中讀取時的空指針
- 24. 的Java/Scala的關閉掛鉤-noclassdeffounderror
- 25. 掛鉤Quartz.net中的關閉方法
- 26. Java關閉掛鉤未運行
- 27. 關閉掛鉤的最佳地點
- 28. Google Cloud Dataflow TextIO寫入.gz文件？
- 29. Beam/Dataflow中的批處理PCollection
- 30. Django預關機掛鉤關閉掛pymongo連接