阿帕奇豬過濾出回車

Question

我是相當新的阿帕奇豬，並試圖使用一些固定寬度的文本。在豬中，我正在閱讀每一行chararray（我知道我可以使用fixedwidthloader，但不是在這種情況下）。我正在使用的一個字段是一個電子郵件字段，一個條目具有回車，在完成的數據轉儲中生成額外的輸出行（我顯示了12行而不是我期望的9行）。我知道哪個條目有錯誤，但我無法使用豬過濾出來。

到目前爲止，我試圖用豬的REPLACE替換\ r或\ uFFFD，甚至嘗試了一種在命令行上工作的python UDF，但不是當我通過PIG將它作爲UDF運行時。任何人有任何建議？請讓我知道是否需要更多細節。

Answer 1

我原來編輯的解決方案竟然只是部分時間。這次我不得不在數據通過豬之前清理數據。在原始數據文件上，我做了一個perl -i -pe 's/\r//g' filename以刪除流氓回車。