我需要從SQL Server表中插入100萬(以及更多)記錄到BigQuery表,該表記錄在SQL Server中作爲「鏈接服務器「通過CDATA odbc driver與遠程處理守護進程(documentation)。從SQL Server插入100萬條記錄到BigQuery表,通過CDATA odbc驅動程序鏈接
此外,源表可能有一個排的號,ID等
現在,沒有列我可以插入每秒1記錄至BigQuery與此驅動程序,使用此查詢:
INSERT INTO [GBQ].[CDataGoogleBigQuery].[GoogleBigQuery].[natality]
SELECT *
FROM [natality].[dbo].[natality]
GO
但是對於這樣一堆記錄來說,就像一百萬或更多,這是一個極端低的性能。
我相信有一個解決方法,可以讓我加快插入過程。在此先感謝同志們。
這是否在內部做一個批量上傳到bigquery? –
正如你所提到的那樣,不幸的是,沒有什麼改變:它仍然每秒載入1條記錄。有任何想法嗎? –
我不知道如何連接bigtable那麼對不起,如果我離開基地。我確實知道bigquery api,通常你會做的是將一個文件上傳到bigquery,它包含你想要在表中插入的所有行(然後等待工作完成,如果你需要知道它什麼時候結束)。一旦你通過了授權(oauth2)部分,它的小代碼就可以寫入。 –