google-cloud-dataflow

0熱度

2回答

數據流作業在我的儀表板上很混亂，我想從我的項目中刪除失敗的作業。但在儀表板中，我看不到任何刪除Dataflow作業的選項。我正在尋找類似下面至少， $ gcloud beta dataflow jobs delete JOB_ID 要刪除所有作業， $ gcloud beta dataflow jobs delete 是否有人可以幫助我？

0熱度

1回答

如何通過Java程序獲取BigQuery表的模式？

我使用DataFlow 2.0/Apache Beam作爲從BigQuery讀取數據並寫入SQL數據庫的框架。想要從BigQuery中讀取模式定義，然後在SQL定義中創建一個等效表。什麼是獲取BigQuery架構定義的Java API？該文檔只討論讀取數據而不讀取元數據。感謝 -ravi

0熱度

1回答

使用ValueProvider作爲Apache Beam中的路徑提取zip內容

我有一段代碼可以提取Google雲端存儲中.ZIP文件的內容。它工作正常，但我需要使用此代碼與將在運行時提供的文件路徑（「gs：//some_bucket/filename.zip」）。當我嘗試使用運行值，我得到一個錯誤，如： Exception in thread "main" java.lang.IllegalArgumentException: unable to serialize [em

0熱度

1回答

Apache beam，使用java處理錯誤/端口輸出8 lambdas

任何人都可以提供一個例子，說明如何使用Java8 Lambdas來處理無效輸入，這與我們可以在此優秀博客文章https://cloud.google.com/blog/big-data/2016/01/handling-invalid-inputs-in-dataflow中找到的邏輯相同。還是我只是用我用beam 2.1.0 乾杯ParDo和DoFn PS，

1熱度

1回答

「數據流似乎卡住」的可能原因是什麼

我在Google Cloud上使用Google Cloud的「無服務器數據分析與Google BigQuery和雲數據流」課程但Coursera上的第一個實驗室的執行失敗，因爲 (4ca2700be7a42d8b): Workflow failed. Causes: (4ca2700be7a420b8): The Dataflow appears to be stuck. Please reach

3熱度

1回答

如何在私有子網上運行Dataflow python？

Apache Beam 2.1.0增加了對私有子網上的Dataflow運行器提交作業的支持，並且沒有公共IP，我們需要這些IP來滿足我們的防火牆規則。我計劃使用魷魚代理來訪問apt-get,pip等來安裝python依賴項;一個代理實例已經在運行，我們在我們的setup.py腳本中設置代理。 python $DIR/submit.py \ --runner DataflowRunner

0熱度

1回答

如何使用Google雲端數據流播放其他文件？

我正在閱讀Google Dataflow程序中的一些配置文件，並想知道如何對它們進行分級。目前我這樣做，系統找不到它們。 FileReader filereader1 = new FileReader("config_1.csv"); FileReader filereader2 = new FileReader("config_2.csv"); config_1.csv和config_2.

0熱度

1回答

升級數據流的SDK 2.XX從1.9.x的給出編譯錯誤

我升級了數據流的SDK包的版本，並開始得到以下錯誤： The project was not built since its build path is incomplete. Cannot find the class file for com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriteOperation. Fix the

0熱度

1回答

數據流似乎被卡住

剛剛得到這個錯誤信息：（941d0d42ab1c3aec）：工作流程失敗。原因：（941d0d42ab1c3675）：Dataflow似乎卡住了。請聯繫數據流團隊http://stackoverflow.com/questions/tagged/google-cloud-dataflow。請大家幫忙。

0熱度

2回答

TextIO.Read GCS文件夾進入過去30天的日期，名稱爲

我想要將過去30天的滾動窗口讀入我的管道中，例如，在2017年1月15日，我想讀： > gs://bucket/20170115/* > gs://bucket/20170114/* >. >. >. > gs://bucket/20161216/* This說（「？」「*」，「[..]」）的支持glob模式 Similar question, but with no good