Apache Pig對輸入數據大小有任何限制嗎？

Question

使用TeraBytes數據和典型的數據過濾問題時，Apache PIG是正確的選擇嗎？還是有一個自定義的MapReduce代碼來完成這項工作會更好。

Answer 1

Apache PIG不作爲存儲層。 PIG是一種腳本語言，它簡化了可以在Hadoop上運行的代碼的創建。 PIG腳本被編譯成一組提交給Hadoop的Hadoop MapReduce作業，其運行方式與任何其他MapReduce作業相同。

Hadoop執行數據存儲而不是PIG。

要回答你的問題：不，對輸入數據的大小沒有限制。只要輸入數據可以通過PIG加載函數進行分析，並且可以通過Hadoop InputFormats進行分割。

PIG腳本比標準Java Hadoop作業更容易編寫，而且PIG有很多聰明的優化，比如多查詢執行，這可以使您的複雜查詢更快地執行。