如何使用pentaho水壺從s3存儲桶加載多個文件

我想使用步驟S3 CSV Input從s3存儲桶加載多個文件，然後轉換並重新加載回S3。但我可以看到這一步只支持一個文件，我需要提供文件名，有沒有辦法一次加載所有文件，只需提供桶名即<s3-bucket-name>/*？如何使用pentaho水壺從s3存儲桶加載多個文件

來源

2017-01-23 DevEx

S3-CSV-Input

通過CSV-Input啓發和不支持多文件處理等Text-File-Input確實，例如。首先你必須retrieve the filenames，所以你可以像在CSV-Input那樣遍歷文件名列表。

來源

2017-01-23 09:43:25 marabu

我用'Execute Shell script'來獲取桶中所有文件的列表，我如何將stdout輸出傳遞給循環？ – DevEx

將aws stdout重定向到臨時文件，例如使用'Text-File-Input'提取文件名，通過'Copy-Rows-To-Result'傳遞文件名到循環轉換（高級選項「對每個輸入行執行」）。定義一個參數FILENAME並在變換的參數設置頁面上初始化它。不要忘記啓用高級選項「將以前的結果複製到參數」。與[水壺]玩得開心（http://forums.pentaho.com/forumdisplay.php?135-Pentaho-Data-Integration-Kettle）。 – marabu

如何使用pentaho水壺從s3存儲桶加載多個文件

回答

相關問題