google-bigquery

0熱度

1回答

我每天上傳幾個文件，其中大約一半是成功的。有些工作返回一個錯誤...... BigQuery error in load operation: Token invalid - Invalid token: Stateless token expired 我用我的服務器上IST日期格式（如果該事項） date Mon Jun 11 11:14:23 IST 2012 成功求職的相關日誌如

8熱度

3回答

將BigQuery與R配合使用來分析數據

我計劃使用Google BigQuery（請隨時提供包括Google在內的非亞馬遜非Azure服務）以執行以下操作 - a）分析專門用於數據挖掘，儀表板和文本的R礦業。 R和Google平臺都是固定的。我的問題是如何以及如何在Google Big Query中使用R。我閱讀了RCurl文檔，但有點失望。您是否有一個簡單任務的使用案例，可以使用R和Google BigQuery完成。

0熱度

2回答

我們可以請求從Google Cloud Storage到BigQuery的多少次併發上傳？

在doc，它指出，可以從存儲在單獨的請求上傳多個文件到一個表：創建一個CSV文件來填充你的表 - 數據用來填充你的表上載爲CSV文件。單個源文件的最大大小爲4GB，但您可以將多個源文件導入到一個表中，或者在單個請求中或在單獨的請求中。這些請求可以同時發佈嗎？如果是，每個賬戶/存儲桶/表的上傳請求的最大併發數是多少？如果這些數字沒有明確的配額，這是否意味着您可以通過發佈上傳請求來儘可能提高

0熱度

1回答

指定駐留在多部分http請求中的文件中的bigquery表架構

我有一個文本文件schema.txt，其中定義了要創建的表的架構。我想包含此文件在我用來創建我的表的多部分HTTP請求。如何在多部分HTTP請求中指定schema.txt文件？下面是目前我在做什麼（儘管不工作）： def loadTable(service, projectId, datasetId, targetTableId, sourceCsv, filenm): try:

2熱度

2回答

在上傳和導入BigQuery上的數據時從bq工具獲取錯誤 - '後端錯誤'

我收到錯誤：BigQuery error in load operation: Backend Error當我嘗試上傳和導入BQ上的數據時。我已經縮小了尺寸，增加了進口之間的時間，但沒有任何幫助。奇怪的是，如果我等待一段時間，重試它就會起作用。在BigQuery瀏覽器工具中，它顯示爲某行/字段中出現錯誤，但我查了一下，沒有。顯然這是一個假消息，因爲如果我等待並重試上載/導入相同的文件，它就會起作

0熱度

1回答

防止與MapReduce重複到BigQuery管道

我正在閱讀邁克爾在這裏發佈的這篇文章的答案，這表明使用管道將數據從數據存儲移動到雲存儲到大型查詢。 Google App Engine: Using Big Query on datastore? 我想用這個技術將數據追加到BigQuery資料表。這意味着我必須知道這些實體是否已被處理，因此在mapreduce運行期間不會重複提交給bigquery。我不想每次重建我的表格。我看到它的方式有兩種選

0熱度

1回答

確保數據已加載

我使用以下命令加載數據。 /home/bigquery/bq load --max_bad_record=30000 -F '^' company.junelog entry.gz country:STRING,telco_name:STRING,datetime:STRING, ... 它發生了，當我得到非零返回代碼的數據仍然加載。我如何確保命令成功與否？檢查返回代碼似乎沒有幫助。有時我再次

1熱度

3回答

大查詢作業失敗，並顯示「遇到錯誤的字符（ASCII 0）」。

我有一個與行的錯誤而失敗的作業：14222274 /字段：1，壞字符（ASCII 0）時發生的。其餘文件未處理。數據被壓縮，我已驗證文件中不存在ASCII 0字符。文件中只有14222273行，所以打印在錯誤消息中的行號是文件末尾的一行。我有相同的數據集已成功上傳其他塊，所以我懷疑這是一個BQ錯誤，或者錯誤信息並不表示潛在的問題。任何幫助解決這個問題，將不勝感激。謝謝。 >>> data =

3熱度

1回答

當使用COUNT（DISTINCT ...）時BigQuery錯誤「響應太大而無法返回」

我有一個包含~20M行的數據集，我正在觀察以下行爲。以下查詢返回錯誤「響應太大而無法返回」。 'id'字段在多個記錄中共享，'field'字段對每個記錄都有一些任意值。我期望結果集應該只包含10行，遠低於查詢響應限制。 SELECT id, COUNT(DISTINCT field) FROM [my.dataset] GROUP BY id LIMIT 10 但是，當從COUNT聚合

9熱度

3回答

BigQuery中的行號？

有什麼方法可以獲取BigQuery中每條記錄的行號？（從規範中，我沒有看到任何關於它的內容）有一個NTH（）函數，但適用於重複的字段。有些情況下，BigQuery中不需要行號，例如使用TOP（）或LIMIT函數。但是，我需要它來模擬一些分析函數，如累計和（）。爲此，我需要用序列號來標識每條記錄。任何解決方法？在此先感謝您的幫助！獅子座