Google BigQuery錯誤：超出緩衝區空間（錯誤代碼：無效）

Question

我正在使用Google Bigqueryuser-defined functions來平整和轉置日期數據的嵌套字段。

除一天的數據外，所有的數據處理工作都很好。當我處理當天的數據時，谷歌Biequery返回以下錯誤狀態（錯誤是由用戶定義的函數拋出）：

Errors: 
script: Out of buffer space (error code: invalid) 
Job ID XXX:XXXXX 
Start Time Mar 21, 2016, 4:39:42 PM 
End Time Mar 21, 2016, 4:39:48 PM 
Destination Table XXX:XXXXX 
Write Preference Append to table 
Allow Large Results true 
Flatten Results false 

當天的原始數據大小約爲1GB，有工藝沒有問題其他日子的數據比當天的數據大得多。

有沒有人有任何關於這個錯誤的想法？

Answer 1

我發現這個問題：

此錯誤是不是谷歌的BigQuery錯誤，這個錯誤是UDF函數拋出一個JavaScript錯誤。

我在一些嵌套字段中有很長的字符串，並且我將這些字段中的字符串連接起來，這些長字符串導致了JavaScript out of buffer space錯誤。通過過濾掉超長字符串字段修復問題