使用Apache Beam執行shell腳本

Question

假設我有一個存儲在GCS桶中的shell腳本。是否可以使用Apache Beam執行它？如果是，那麼如何？ 我目前還沒有嘗試過任何東西，因爲我在Apache Beam或Dataflow的文檔中找不到任何此類內容。所以只想知道我必須採取什麼方法。 謝謝。

Answer 1

想要從DoFn之類的東西執行整個shell腳本有點奇怪。這是你想要做的嗎？你想爲PCollection中的每個元素運行一次嗎？

如果是這樣，你會想要使用GCS API獲取shell腳本的全部內容到一個字符串或字節數組，然後將其作爲一個側面輸入傳遞到您的ParDo。

然後，您可以使用Python中的subprocess或Java中的ProcessBuilder這樣的工具來執行它。

讓我知道如果您需要更具體的東西，我們可以迭代解決方案。