0
我有一個配有1024個桶的配置單元表。最大減速器限制設置爲1024,通常經驗法則是每桶減速器1個。現在我想增加減速器的數量以獲得更快的性能,並且我想知道是否可以設置每個減速器多個減速器。如果我能做到這一點,那麼它是如何影響性能的?每個桶多於1個reducer
我有一個配有1024個桶的配置單元表。最大減速器限制設置爲1024,通常經驗法則是每桶減速器1個。現在我想增加減速器的數量以獲得更快的性能,並且我想知道是否可以設置每個減速器多個減速器。如果我能做到這一點,那麼它是如何影響性能的?每個桶多於1個reducer
您應該使用
set hive.enforce.bucketing = true;
減速器的數量必須等於存儲桶的數量。這是語言手冊中描述的 。
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables
鏈接已損壞。 – javadba
該文件沒有明確說明,我們不能使用每個羣集/桶多於1個reducer。雖然,可以強烈地理解,我們必須使用每桶1個還原劑。我想知道的是,如果有一種設置可以將一組密鑰實際分配給多個減速器 – ShikharDua