如何擺脫價值中發現的分隔符 - 豬腳本？

Question

在豬腳本中，我想找到一種方法來轉義我的數據中的分隔符，這樣它就不會被解釋爲額外的列。例如，如果我使用冒號作爲分隔符，並且我有一個值爲「foo：bar」的列，我希望該字符串解釋爲單個列，而不需要加載器在中間拾取逗號。

Answer 1

您可以嘗試http://pig.apache.org/docs/r0.12.0/func.html#regex-extract-all

​​

正則表達式可能需要進行調整。

Answer 2

看起來，Pig把Input作爲字符串，它不那麼聰明以便確定數據是什麼或不是什麼。

豬存儲在強Tokenizer上工作。所以，如果ü要像做

a = LOAD '/abc/def/file.txt' USING PigStorage(':');

它不會似乎是解決你的問題。但是如果我們可以編寫我們自己的PigStorage（）方法，我們可能會遇到一些解決方案。

我會嘗試發佈代碼來解決這個問題。

Answer 3

你可以使用STRSPLIT（string，regex，limit）;用於基於分隔符的列拆分。