2017-08-10 106 views
-1

我正在使用CloverETL Designer進行ETL操作,我想從GCS將一些csv文件加載到我的Clover圖中。我使用FlatFileReader並嘗試使用遠程文件URL獲取文件,但它不起作用。有人可以請詳細說明整個過程嗎?如何將CloverETL連接到Google雲端存儲?

在GCS文件的路徑是

https://storage.cloud.google.com/PATH/Write_to_a_file.csv 

,我需要得到這個csv文件到FlatFileReader在CloverETL設計

回答

1

您應該使用Google Cloud Storage API獲取文件; Clover的HTTPConnector組件將允許您傳遞適當的參數以發出GET請求(您大概必須首先進行OAuth2身份驗證才能獲取令牌),並將輸出發送到「輸出文件URL」中指定的本地目標。然後,您可以使用FlatFileReader從本地文件讀取。

0

GCS有幾種不同的方式從你的桶中下載文件。您可以使用控制檯和雲存儲瀏覽器。步驟:打開存儲瀏覽器,導航到要下載的對象,右鍵單擊並保存到您選擇的本地文件夾。如果您使用Chrome,保存將顯示爲「將鏈接另存爲...」。

要使用GS工具,使用這個命令:

`gsutil cp gs://[BucketName]/[ObjectName] [ObjectDestination]`. 

或者你可以使用客戶端庫或REST API的下載文件。有了這些最後的選項,你可以使用一些文件或創建一個工作來下載它們。一旦它們位於Clover ETL已知的位置,該過程就很簡單。

在Clover designer中,在導航窗格下,您可以右鍵單擊一個文件夾並選擇導入。選擇你放置你的GCS文件的那個。一旦文件被導入,你就可以像使用Clover中的其他數據文件一樣使用它的數據。由於這是一個.csv文件,請記住編輯元數據(右鍵單擊組件,選擇提取元數據,然後在元數據編輯器中編輯 - 對於數據類型,標籤等)。將元數據分配給組件邊緣,以便他們知道什麼是進入/退出該步驟。根據您的文件,此過程可能會重複多次。

即使使用ETL工具,正確獲取數據和數據類型也可能非常棘手。如果您對如何在ETL項目中配置數據類型或邊緣有疑問,wiki可能會有所幫助。網頁有additional resources可能會幫助您獲得所需的最終分析結果。

相關問題