google-cloud-dataflow

0熱度

1回答

我試圖構建一個ETL來加載一個Dimension表。我使用Python和DataFlow和BigQuery來分配Apache Bea。我需要爲pcollection的每個元素分配一個序列號，以便將其加載到BigQuery中，但我找不到任何方法來執行此操作。我想我需要DataFlow使先前的聚合和連接，以獲得我最後的pcollection添加序列號，但在這一刻我需要停止並行處理，並將我的pcol

0熱度

1回答

數據流作業已被卡住，並從去年3個小時

請從下面的數據流任務的詳細信息運行：作業ID：2017-10-17_22_03_20-14123260585966292858 項目名稱：極限測試file12-1508302687176 批次：一批開始時間：2017年10月18日10:33:21上午狀態：正在取消... Region：us-central1 作業日誌詳細信息：2017-10-18（11:34:56）工作流失敗。原因：（b27

0熱度

1回答

將一個特定的PCollection寫入BigQuery

假設我通過SideOutputs創建了兩個輸出PCollections，並且取決於某些條件，我只想將其中一個寫入BigQuery。這個怎麼做？基本上我的用例是我試圖使Write_Append和Write_Truncate動態。我從我在BigQuery中維護的配置表中獲取信息（append/truncate）。所以根據我在配置表中的內容，我必須應用截斷或追加。因此，使用SideOutputs我可

1熱度

1回答

在TB級數據集

我試圖計算位數計算位數高效的算法（可近似具有一定精確度保證或錯誤邊界）一個巨大的數據集（萬億字節的數據）。我如何有效地計算分位數。要求是 1) Can be computed efficiently (one-pass) or in a distributed way (merging) 2) High accuracy (or at least can be controlled) 3) C

2熱度

1回答

谷歌雲數據流無法導入「google.cloud.datastore」

這是我的導入代碼 from __future__ import absolute_import import datetime import json import logging import re import apache_beam as beam from apache_beam import combiners from apache_beam.io.gcp.bigqu

1熱度

3回答

使用Python SDK進行數據流流式傳輸：將PubSub消息轉換爲BigQuery輸出

我正在嘗試使用數據流來讀取pubsub消息並將其寫入大查詢。我獲得了Google團隊的Alpha訪問權限，並獲得了提供的示例，但現在我需要將其應用於我的場景。 PubSub的有效載荷： Message { data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1} att

0熱度

1回答

寫完表後的Apache Beam Pipeline查詢表

我有一個將結果寫入BigQuery表的Apache Beam/Dataflow管道。然後，我想查詢這個表中管道的單獨部分。然而，我似乎無法弄清楚如何正確設置這個管道依賴。我編寫（然後想要查詢）的新表格與一個單獨的表格保持連接，用於某些過濾邏輯，這就是爲什麼我實際上需要編寫表格並運行查詢。邏輯將如下所示： with beam.Pipeline(options=pipeline_options) as

2熱度

2回答

這是什麼意思AfterWatermark.withEarlyFirings？

我們瞭解codelabs中提到的示例中的withLateFirings。這是什麼意思關於withEarlyFirings？

1熱度

1回答

如何發佈 - 訂閱有效載荷轉換爲LogEntry對象已啓用了日誌出口到一家酒吧子課題原木出口

。我正在使用數據流來處理這些日誌並將相關列存儲在BigQuery中。可有人請與發佈 - 訂閱消息負載的一個LogEntry對象轉換幫助。我曾嘗試下面的代碼： @ProcessElement public void processElement(ProcessContext c) throws Exception { PubsubMessage pubsubMessage = c.el

0熱度

1回答

當從PubSub讀取數據流作業並寫入Google Cloud Storage時數據丟失

將固定數量的字符串（用於測試的800,000個1KB）放入PubSub主題並在以下版本中運行以下Apache Beam（2.1.0）作業數據流，正好一次保留語義，如預期。 import org.apache.beam.sdk.Pipeline; import org.apache.beam.sdk.io.TextIO; import org.apache.beam.sdk.io.gcp.pub