Sqoop + S3 +木地板會導致錯誤的FS錯誤

Question

當嘗試導入使用Sqoop在木地板格式的數據S3，如下所示：

bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile 

...我收到以下錯誤：

ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000 

我沒有問題直接通過HDFS導入非拼花地板數據或使用s3a。看起來像this issue，但它應該是在很多版本之前修復的。

Answer 1

如果您使用S3作爲目標目錄，Sqoop不支持導入到實木複合地板文件。

Answer 2

Sqoop進口鑲木地板格式目前不支持S3作爲目標目錄，工作在你身邊可以用的是將數據導入到HDFS，然後用DistCp使用從HDFS複製到S3