google-bigquery

4熱度

3回答

我試圖用BigQuery做日誌分析。具體來說，我有一個appengine應用程序和一個JavaScript客戶端，將發送日誌數據到BigQuery。在bigquery中，我會將完整的日誌文本存儲在一列中，但也會將重要字段提取到其他列中。然後我希望能夠對這些列做特別的查詢。兩個問題： 1）是BigQuery的特別好或特別壞在這種使用情況？ 2）如何設置循環日誌？即我只想存儲最近的N個日誌或最後一個

3熱度

5回答

使用BigQuery進行實時分析

有沒有使用BigQuery來運行實時分析的方法？我使用CSV上傳選項來啓動作業，並以離線模式加載數據，一旦加載完成就可以分析數據。但是在關於BigQuery的公告中，提到了將BigQuery用於實時分析。這怎麼能實現？我們能否以實時分析的涓流模式將Google雲端數據庫中的數據追加（無更新）到BigQuery？作爲一個旁註，我注意到BigQuery CSV數據加載比使用10GB數據文件在本地PC

0熱度

2回答

安裝的BigQuery

我試圖在Ubuntu上安裝大的查詢，我得到了以下錯誤： Installed /usr/local/lib/python2.6/dist-packages/oauth2-1.5.211-py2.6.egg error: Installed distribution httplib2 0.6.0 conflicts with requirement httplib2>=0.7.4 如何解決此問題

1熱度

1回答

將報價

我可以輕鬆地上傳一個文件由^ 它看起來像分隔... CN^^其他2012-05-03 0時02分25秒^^^^^的Mozilla/5.0 ^通用網頁瀏覽器^^^^^^^^ CN^others^2012-05-03 00:02:26 ^^^^^ Mozilla/5.0^generic web browser ^^^^^^^^ 但是，如果我有一個雙引號的地方，它失敗的錯誤消息... 線：1 /場:,接

0熱度

1回答

加載數據時出錯「operation：Unexpected」

這是從（現已失效的）bigquery論壇上提出的問題轉發。雖然從BQ工具，我得到以下錯誤上傳數據： BigQuery error in load operation: Unexpected. Please try again. 我試着運行多個文件，但每一個給出了同樣的異常。最新失敗的作業是job_5251c0bf5eb24436a350bdfbdbdb3cd8

0熱度

2回答

谷歌BigQuery API進行

我只是有一些麻煩，使用Bigtable的API創建表的例子：以前的工作只是罰款https://developers.google.com/bigquery/docs/developers_guide#creatingatable 的一切，但這裏我總是收到一個解析例外... 低於發送的身體該請求（我實際上將示例修改爲本教程中下一個示例的數據和模式，但與原始模式+自生成的數據集有相同的問題）和錯誤響應

0熱度

1回答

Google BigQuery - 將數據下載到表格時出錯

我正在嘗試使用已上傳到Google大數據的github數據。我跑了幾個查詢（這產生了大量的行 - 例如：查詢SELECT actor_attributes_login, repository_watchers , repository_forks FROM [githubarchive:github.timeline] where repository_watchers > 2 and REGEX

0熱度

2回答

Google BigQuery：用戶不是可信的測試人員

我正在使用Big查詢示例代碼來處理大查詢。使用大查詢API讀取數據集列表時出現以下錯誤。的代碼是 Bigquery bigquery = Bigquery.builder(httpTransport, jsonFactory) .setHttpRequestInitializer(requestInitializer) .setJsonHttpRequestInitial

3熱度

2回答

加載多個文件

以下內容按預期工作。 ./bq --nosync負載-F '^' --max_bad_record = 30000 myvserv.xa此時就把one.txt存盤IP：字符串，CB：字符串，國家：字符串，telco_name：串，... 1）但是如何在同一個命令中發送兩個csv文件one.txt和two.txt？ 2）我不能貓文件，然後管|給bg命令？ 3）nosync是什麼意思？

1熱度

1回答

Bigquery提高準確性問題

我們有一個問題來提高BigQuery的準確性，我們的使用情況如下，我們使用的是一張1,600萬條記錄，一張表對於我們的問題不是很大，我們正在嘗試找到唯一的用戶。首先我們認爲要使用「count distinct」，但由於文檔告訴大量的數據，您可以獲得估計結果。爲了改善這一點，我們嘗試用「count + group by」代替「count distinct」語句。但是bigquery的結果是響應太大