豬0.11編譯速度慢嗎？

Question

有沒有人覺得在Pig 0.11上運行腳本很慢？我已經在豬0.11和豬0.8的相同環境下運行腳本。豬0.8總是更快。

評論？

Answer 1

難道是因爲你的LOAD陳述USING PigStorage()匹配很多文件？ Pig 0.11中的PigStorage()默認情況下在HDFS上檢查匹配文件的模式文件。如果你正在閱讀大量的文件，這可能會讓它變得非常慢。使用x = LOAD '...' USING PigStorage('...','-noschema')。 使用-noschema將避免查找模式文件，您應該恢復速度。

更多信息here。