當導入到BigQuery中 - 遇到JSON表

我正在使用Spark將一組表從BigQuery中同步到BigQuery中，並且AppFlyer（https://github.com/appsflyer-dev/spark-bigquery）上的人員創建了一個簡單的包裝庫。這種方法對我所有的表格都是一種魅力，除了一種。在導入該表時，我從BigQuery中收到以下錯誤：當導入到BigQuery中 - 遇到JSON表

線程「main」異常java.io.IOException：JSON表遇到太多錯誤，放棄。行數：1;錯誤：1。在 com.google.cloud.hadoop.io.bigquery.BigQueryUtils.waitForJobCompletion（BigQueryUtils.java:95）在 com.appsflyer.spark.bigquery.BigQueryClient.com $ appsflyer $火花$ $的BigQuery BigQueryClient $$ waitForJob（BigQueryClient.scala：129）在 com.appsflyer.spark.bigquery.BigQueryClient.load（BigQueryClient.scala：100）

上的MySQL側的表模式看起來像：

CREATE TABLE mytable (
    id bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
    field1_id int(11) NOT NULL, 
    created_at datetime(6) DEFAULT NULL, 
    updated_at datetime(6) DEFAULT NULL, 
    field2_id int(11) NOT NULL, 
    hidden_at datetime(6) DEFAULT NULL, 
    deleted_at datetime(6) DEFAULT NULL, 
    field3 tinyint(4) NOT NULL, 
    field4 tinyint(1) DEFAULT '1', 
    PRIMARY KEY (id), 
) ENGINE=InnoDB AUTO_INCREMENT=10193389 DEFAULT CHARSET=utf8mb4;

我不知所措這個t能夠導致問題。

來源

2017-02-16 Mark

相關：https://code.google.com/p/google-bigquery/issues/detail?id=530 – Pentium10

http://stackoverflow.com/questions/36586472/google-big-query-error-csv -table-encountered-too-many-errors-giving-up-row-1 – Pentium10

沒有看到有效負載在運行API調用時很難識別某些轉換應用程序中的錯誤。 – Pentium10

問題解決了 - 發送的JSON表格描述與表示發送數據的JSON之間存在不匹配。這被固定與此PR：

https://github.com/appsflyer-dev/spark-bigquery/pull/8

代碼是創建與文本類型的一列，但火花的表JSONizer編碼的數據作爲數字。 BigQuery的表導入失敗並顯示發佈的錯誤。一個更好的錯誤本來不錯。

來源

2017-02-22 05:28:35 Mark

當導入到BigQuery中 - 遇到JSON表

回答

相關問題