將JSON加載到bigquery - 字段有時是數組，有時是字符串

Question

我試圖將JSON數據加載到BigQuery。我的數據造成問題的摘錄看起來像這樣：

{"page":"295"} 
{"page":["295", "123"]} 

我已經定義架構這一領域是：

{ 
    "name": "page", 
    "type": "string", 
    "mode": "repeated" 
} 

我得到重複場」的錯誤，必須導入爲JSON數組「。我認爲這個問題是由JSON本身的結構造成的。第一行中的字符串應該是1個元素數組，而不僅僅是一個字符串。數據是這樣傳遞給我的。我試圖找到一種方法來強制BigQuery將該字符串作爲一個元素數組讀取，而不是修復該文件（這是百兆字節）。有沒有解決方法？

Answer 1

一種選擇是使用BigQuery來轉換數據本身。假設您可以將行導入爲CSV而不是數據（可以選擇未出現在數據中的任意分隔符），您可以使用JSON_EXTRACT函數跨行檢索page的值。例如，

#standardSQL 
SELECT JSON_EXTRACT(json, '$.page') AS page 
FROM UnprocessedTable; 

可以使用SPLIT功能或REGEXP_EXTRACT_ALL爲後來檢索單個值。

編輯：作爲一個具體的例子，你可以試試這個查詢：

#standardSQL 
WITH T AS (
    SELECT '{"page": "foo"}' AS json UNION ALL 
    SELECT '{"page": ["bar", "baz"]}' AS json UNION ALL 
    SELECT '{"page": ["a", "b", "c"]}' AS json 
) 
SELECT 
    REGEXP_EXTRACT_ALL(JSON_EXTRACT(json, '$.page'), r'"([^"]*)"') AS pages 
FROM T; 

這將返回JSON陣列（或標串）作爲ARRAY<STRING>列。