豬過濾器語句自動消除空記錄

Question

不知道爲什麼豬拉丁在數據集中的特定字段上使用FILTER語句時沒有程序員的意圖自動消除空記錄。任何解釋都會得到更多讚賞。

Answer 1

豬總體上忽略了空值，使得處理損壞的數據有點痛苦。

豬產生的無效字段（空）警告，但並沒有停止其加工

說Hadoop的的Tom White的權威指南中。

解決此類問題的方法是用999代碼等代碼替換缺失的值，或者將質量好的和質量差的數據分開，然後看看發生了什麼。

我們通常通過計算管道數據聚合的各個步驟中的缺失值來進行數據質量檢查。