在sqoop導入或導出期間處理不良記錄

Question

我查看了sqoop導出操作提供的選項，但找不到處理不良記錄的任何選項。例如，偶爾有一個字符可能出現在一個龐大的記錄集合中。有沒有辦法在sqoop中處理這些場景，而不會使作業失敗並在文件中提供不良記錄。

Answer 1

Sqoop目前預計要導出的數據是乾淨的，並且不提供處理損壞數據的工具。在使用Sqoop導出數據之前，您可以使用MR/Pig/Hive作業來清理數據。