使用Python將CSV文件上傳到Google Cloud Storage

Question

我需要使用Python自動將本地csv文件上傳到Google Cloud存儲分區。我可以使用哪個Python庫？任何示例代碼將不勝感激。

Answer 1

您不需要導入任何庫。 您可以創建一個POST請求方法的/上傳URI並添加查詢參數

uploadType=media 

例如：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media 

添加名稱查詢參數以確定哪些資源上載關聯。

例如，指定對象的名稱是myObject的：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject 

文件的數據添加到請求主體。 添加以下HTTP標頭：

• Content-Type。設置爲正在上傳的對象的MIME媒體類型。
• Content-Length。設置爲您要上傳的字節數。如果您使用分塊傳輸編碼，則此標題不是必需的。

示例性上傳：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject HTTP/1.1 
Content-Type: [csv] 
Content-Length: [NUMBER_OF_BYTES_IN_FILE] 
Authorization: Bearer [YOUR_AUTH_TOKEN] 

[DATA] 

Answer 2

可以使用熊貓庫。遵循下面的例子：

import pandas as pd 
tobq = pd.read_csv("local.csv") 
pd.io.gbq(tobq, "big_query_table_name", "project_name", private_key="big_query_private_key.json") 

Answer 3

我們可以使用谷歌的Python客戶端API將文件上傳到谷歌雲存儲。

首先，如下安裝api客戶端。

>pip install --upgrade google-api-python-client 

然後，啓用api身份驗證以獲取應用程序默認憑據。

>gcloud beta auth application-default login 

以下是使用應用程序默認憑據將本地文件上傳到Google雲存儲的示例代碼。

from googleapiclient import discovery 
from oauth2client.client import GoogleCredentials 

credentials = GoogleCredentials.get_application_default() 
service = discovery.build('storage', 'v1', credentials=credentials) 

filename = 'C:\\MyFiles\\sample.csv' 
bucket = 'my_bucket' 

body = {'name': 'dest_file_name.csv'} 
req = service.objects().insert(bucket=bucket, body=body, media_body=filename) 
resp = req.execute() 

這會將文件上傳到my_bucket中。上傳文件的完整Google存儲網址爲gs：//my_bucket/dest_file_name.csv