在Amazon S3上使用TfileUnarchive

Question

我有一個像以下這樣簡單的傳說工作： ts3Connection - > ts3Get - > tfileinputDelimeted - > tmap - > tamazonmysqloutput。

現在這裏的場景是，我有時候以.txt格式獲取文件，有時候我會在一個zip文件中得到它。 所以，我想使用tFileUnarchive解壓文件，如果它在zip中，或者如果該文件是解壓縮格式，即僅以.txt格式，則繞過tFileUnarchive組件進行處理。

對此非常感謝。

Answer 1

這裏的訣竅是將文件檢索和潛在解壓縮分解爲一個子作業，然後將文件處理成另一個子作業。

這裏有一個簡單的例子任務：

正常，您連接到S3，然後你可以列出使用tS3List桶中所有相關的對象，然後通過這個來tS3Get。或者，您可能有另一種方法將您想要下載的相關對象密鑰傳遞給tS3Get。

在上述工作中，我設置tS3Get了獲取每一個通過設置鍵迭代由tS3List組件對象：

((String)globalMap.get("tS3List_1_CURRENT_KEY")) 

，然後將其下載到：

"C:/Talend/5.6.1/studio/workspace/S3_downloads/" + ((String)globalMap.get("tS3List_1_CURRENT_KEY")) 

我添加的額外位開始於tS3Get的條件鏈接Run If，它將tFileUnarchive與條件鏈接在一起：

((String)globalMap.get("tS3List_1_CURRENT_KEY")).endsWith(".zip") 

它檢查從S3下載的文件是否爲.zip文件。

的tFileUnarchive組件然後只需要告訴解壓什麼，這將是我們剛剛下載的文件：

"C:/Talend/5.6.1/studio/workspace/S3_downloads/" + ((String)globalMap.get("tS3List_1_CURRENT_KEY")) 

以及在哪裏它解壓到：

"C:/Talend/5.6.1/studio/workspace/S3_downloads" 

這然後將提取的文件放在與不需要提取的文件相同的地方。

從這裏我們現在可以通過下載遍歷文件夾尋找我們想通過我的情況下設置的目錄"C:/Talend/5.6.1/studio/workspace/S3_downloads"和全球表達"*.csv"的文件類型，因爲我想讀僅在CSV文件（包括壓縮）我在S3中。

最後，我們再通過設置文件中讀取分隔的文件由tFileInputDelimited組件作爲閱讀：

((String)globalMap.get("tFileList_1_CURRENT_FILEPATH")) 

而且在我的情況只是那麼我打印這個控制檯，但很明顯，你會再想要在上傳到AWS RDS實例之前執行一些轉換。