配置單元中的分配子句

Question

請解釋一下或提供關於分配的真的在蜂巢中的配置的鏈接嗎？ 它如何控制一個文件發送到一個特定的reducer？

Answer 1

DISTRIBUTE BY控制地圖輸出是如何減速器之間分配。默認情況下，MapReduce的計算由映射器上的按鍵輸出的散列函數，並嘗試使用哈希值可用減速器之間均勻分佈的鍵值對。 假設我們希望將一列中每個值的數據一起捕獲。我們可以使用DISTRIBUTE BY來確保每個記錄到同一個reducer。 DISTRIBUTE BY作品在這個意義上，它控制減速器如何接收行處理類似GROUP BY，需要注意的是蜂巢需要分發BY子句來排序BY子句之前，如果它在相同的查詢。

Answer 2

您可以在官方文檔here。

Answer 3

DISTRIBUTE BY是一個很好的解決方法，利用較少的內存，當你有一個內存密集型工作，Hadoop的力量，而不是使用具有唯一地圖作業的減速器。從本質上講映射器做基礎上，行的一些分組DISTRIBUTE BY指定列，這使框架使更少的工作整體，並通過對這些聚集到減速。

見https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-Dynamic-PartitionInsert