0
豬產生如此多的產量,我發現很難弄清楚它實際上在做什麼。商店之前的轉儲是否創建單獨的作業?
例如,如果我store foo ...;
之前做dump foo;
- 它產生的dump
額外的MR工作或者它搭載以下store
工作?
(有問題的數據集很小 - 〜100條記錄)
豬產生如此多的產量,我發現很難弄清楚它實際上在做什麼。商店之前的轉儲是否創建單獨的作業?
例如,如果我store foo ...;
之前做dump foo;
- 它產生的dump
額外的MR工作或者它搭載以下store
工作?
(有問題的數據集很小 - 〜100條記錄)
你不想使用dump,因爲它會禁用多查詢執行 並有可能減慢執行速度。 (如果您已包括DUMP在腳本 報表調試的目的,你應該刪除 他們。)
沒有爲使用多個商店相關主題:http://pig.apache.org/docs/r0 .11.1/perf.html#multi-query-execution我不知道STORE和DUMP如何一起交互。 – Ruslan
@Ruslan:謝謝!鏈接回答這個問題! – sds