正確加載日期時間在豬

Question

我加載一個datetime列，長柱，以TSV文件：

A = LOAD 'tweets-clean.txt' USING PigStorage('\t') AS (date:datetime, userid:long); 
DUMP A; 

輸入的實例行：

Tue Feb 11 05:02:10 +0000 2014 205291417 

該行輸出：

, 205291417 

我該如何正確地做到這一點？

Answer 1

您希望將日期加載爲chararray（日期：chararray），然後可以使用FOREACH GENERATE以及ToDate Pig內置函數將其轉換爲日期時間。

格式字符串是基於SimpleDateFormat

A = LOAD 'tweets-clean.txt' USING PigStorage('\t') AS (date:chararray, userid:long); 
B = FOREACH A GENERATE ToDate(date, '<some format string>') AS date, userid; 
DUMP B;