豬 - 獲取無效日期格式的所有記錄

Question

我有一些數據，我認爲可能很髒;具體而言，應該是日期的一列可能有幾行不是正確的日期格式。

如何使用豬，我可以從我的文件中得到這一列中沒有適當日期的所有行嗎？

Answer 1

我最終在Python中創建了一個UDF。

from pig_util import outputSchema 
from datetime import datetime 
date_format = '%Y-%m-%d %H:%M:%S' 

@outputSchema('number:is_date') 
def is_date(date): 
    try: 
     datetime.strptime(date, date_format) 
    except ValueError: 
     return 0 
    return 1 

而在豬：

REGISTER 'myudf.py' using jython as udf 
raw = load '/path/to/file.csv' 
    USING PigStorage(',') 
    AS (id:chararray, consumption_date:chararray); 
modified = FOREACH raw 
    GENERATE id, consumption_month, udf.is_date(consumption_month) as is_date; 
bad = FILTER modified BY is_date == 0; 
dump bad;