google-cloud-dataflow

12熱度

1回答

當我嘗試導入apache beam時，出現以下錯誤。 >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/toor/pfff/local/lib/python2.7/site-packages/apache_beam/

0熱度

2回答

谷歌雲數據流：從動態文件名

我試圖建立在谷歌雲數據流管道，會做下列文件閱讀：聽取了關於發佈訂閱訂閱事件提取從文件名事件文本讀取文件（從谷歌Cloud Storage桶）商店BigQuery中記錄以下是代碼： Pipeline pipeline = //create pipeline pipeline.apply("read events", PubsubIO.readStrings().fromSubscript

3熱度

1回答

TupleTag Tag <taginfo>對應於非單例結果

在Google Cloud Dataflow中，我的連接失敗，並顯示「TupleTag Tag對應於非單例結果」。從錯誤堆棧看來，這種情況在CoGBKResults中的overide方法中發生。 String Ad_ID = e.getKey(); String Ad_Info = "none"; Ad_Info = e.getValue().getOnly(AdInfoTag); 以下是

0熱度

1回答

阿帕奇梁模板：運行時錯誤上下文

我目前正試圖基於Apache梁SDK V2.1.0像Google tutorial 創建數據流模板這是我的主類 public static void main(String[] args) { // Initialize options DispatcherOptions options = PipelineOptionsFactory.fromArgs(args).with

1熱度

1回答

如何將Google Cloud SQL與Google Big Query集成

我正在設計一個解決方案，在該解決方案中，Google Cloud SQL將用於存儲應用程序常規功能（某種OLTP數據）中的所有數據。預計這些數據會隨着時間的推移而變得相當大。數據本身本質上是關係型的，因此我們選擇了Cloud SQL而不是Cloud Datastore。這些數據需要輸入Big Query進行分析，這需要接近實時分析（最好的情況），儘管實際上可能會有一些滯後。但我正試圖設計一個解決

-1熱度

2回答

Google Dataflow內部連接加入列表[]

我正在使用谷歌數據流CoGbkResult連接兩個表作爲內部連接。我能夠成功加入表格。我正在寫輸出到一個文本文件，並能夠驗證連接。但是，連接會將匹配結果放入列表中。就是這樣。 301%103%203%2017-09-20 07:49:46[2%google, 3%google, 1%microsoft] 301%105%200%2017-09-17 11:48:59[2%google, 3

0熱度

1回答

如何在Java管道中使用Python ParDo？

我有一個用於數據分析的Python代碼，我想將它嵌入到一個更大的管道中，該管道用Apache Beam Java SDK編寫。我知道還有一個Python SDK，但我不知道如何在它們之間進行組合。怎麼辦？

0熱度

1回答

數據流似乎被卡住

得到了以下消息： The Dataflow appears to be stuck. Please reach out to the Dataflow team at http://stackoverflow.com/questions/tagged/google-cloud-dataflow. 我意識到有關於同樣的錯誤信息的其他問題，但上下文似乎每個和信息，而一般的不同，所以我發帖再次。職位編

1熱度

1回答

有時讓IllegalStateException異常，而在數據流亞軍運行管道

（5d8e3f411b5a4ccb）：java.lang.IllegalStateException：TimestampCombiner從2017-09-25T13移動元素：53：08.725Z更早時間2017-09-25T13：53：08.718 Z for window [2017-09-25T13：53：08.088Z..2017-09-25T13：53：08.719Z）可能是什麼原因？

7熱度

2回答

Google Cloud Dataflow和Google Cloud Dataproc有什麼區別？

我正在使用Google Data Flow來實施ETL數據倉庫解決方案。展望谷歌雲產品，似乎DataProc也可以做同樣的事情。它似乎DataProc比DataFlow便宜一點。有誰知道數據流超過DataProc 的優點/缺點，爲什麼谷歌同時提供？