google-bigquery

1熱度

1回答

我目前正試圖計算谷歌大查詢中的行之間的差異。我實際上有一個工作查詢。 SELECT id, record_time, level, lag, (level - lag) as diff FROM ( SELECT id, record_time, level, LAG(level) OVER (ORDER BY id, record_time)

0熱度

2回答

我想用BigQuery UDF處理appengine_googleapis_com_request_log.protoPayload.line

我正在將App Engine標準的請求日誌導出到BigQuery。由於Application輸出的日誌是在protoPayload.line中的，我們試圖用UDF來處理它。但是，由於類型不匹配錯誤，查詢無法執行。我打算讓模具保持一致，但我該如何解決它？ Error: No matching signature for function JS:LINE_COUNT for argument t

0熱度

3回答

使用GET方法將數據流式傳輸到Google BigQuery？

我需要一個很好的解決方案，最好是現有的解決方案，例如Google Rest API，以便將數據傳輸/插入到BigQuery中。我不想使用POST方法發送數據 - 出於許多設計原因。我期望每秒寫入數千次。數據將被附加到url的查詢參數中。它與谷歌分析非常類似，使用Get方法發送分析數據。

1熱度

2回答

如何爲用戶指定訪問BigQuery列？

我目前想限制我的觀點可能會返回列，但維持的可能性，用戶對其進行過濾，例如：表 {f_name：字符串，l_name：字符串，SSN ：字符串} 查看 {f_name：字符串，l_name：字符串} 但允許這樣的查詢：SELECT * FROM視圖WHERE SSN =「1234567890」我敢肯定有更好的辦法，但我太深看到它:)

0熱度

1回答

在BigQuery上使用STRING_AGG時，能夠發現內存不足錯誤嗎？

This question解釋當您嘗試使用BigQuery中的STRING_AGG聚合太多內容時發生的情況。有沒有辦法讓我可以做一些像「嘗試STRING_AGG，但如果數據太多，返回null（或其他）」？所以我可以從錯誤中回退而不會失敗。

1熱度

1回答

我如何跟蹤火力點或大查詢中的流行用戶流量？

沒有辦法像Google分析那樣找出Firebase中的用戶流。谷歌分析顯示用戶流量。同樣的事情，我想跟蹤我的應用程序使用的是Firebase SDK。

1熱度

1回答

處理Python腳本讀取和寫入數據使用泊塢窗

我最近開發了我的本地機器一個Python代碼從mysql數據庫中讀取數據，並在谷歌大query.I使用服務帳戶插入進行身份驗證，以谷歌大查詢的自動認證目的和我的代碼可以成功執行沒有錯誤。現在我正試圖在docker python容器中運行我的腳本。一旦我運行我的代碼，收到一個認證消息，我不知道如何自動處理它，而無需用戶和系統之間的交互。消息是：「請訪問這個URL授權此應用程序： https://

0熱度

1回答

對錶進行分區

Bigquery目前只允許按日期進行分區。 Lets supose我有一個與inserted_timestamp字段的10億錶行。讓我們說這個領域有1年前的日期。將現有數據移動到新的分區表的正確方法是什麼？編輯我看到有Java的一個優雅的解決方案與版本< 2.0 Sharding BigQuery output tables還闡述了在BigQuery partitioning with Be

0熱度

1回答

當我們通過它執行查詢時BigQuery Java API不返回所有行

我們正面臨一個間歇性問題，即當我們通過BigQuery Java API執行查詢時，那麼當我們執行相同的行數時，我們得到的行數不匹配通過BigQuery UI進行查詢。在我們的代碼中，我們使用QueryResponse對象執行查詢，我們也檢查查詢是否完成或不通過檢查標誌 GetQueryResultsResponse.getJobComplete（），我們也有機制來拉動更多的記錄，如果該查詢不返

2熱度

2回答

沒有webservice的大查詢cron作業

是否有可能在不運行谷歌應用程序引擎webservice的情況下運行處理用戶數據的腳本？對於較小的腳本它工作得很好，但是當我的腳本持續約40分鐘我收到提示：DeadlineExceededError 我臨時的解決辦法是使用Windows在Windows VM調度器和命令行用python腳本編輯：添加代碼 jobs = [] jobs_status = [] jobs_error = []