使用SQOOP的數據攝取

Question

我必須使用Sqoop在HDFS中攝取CSV文件。

問題是我正在使用'，'（逗號）作爲分隔符，而且我的數據也有'，'的列。這是創建解析數據的問題。

任何人都可以建議我該怎麼做才能解決問題？

我可以使用SQOOP嗎？

Answer 1

當使用sqoop將數據導入hdfs時，可以使用sqoop特定參數--fields-terminated-by來分隔字段。

如果您試圖從本地文件系統導入csv文件，那麼在這種情況下，您可以直接使用hadoop fs -put命令將其文件放入hdfs中。