reducers

5熱度

1回答

我想知道爲什麼下面的代碼在r/fold的情況下沒有提供加速功能？我誤解了減速機的一些事情嗎？我在一個相當慢的（儘管有2個內核）Ubuntu 12.04 dev盒子上運行它，兩者都通過emacs和lein運行，每個都有相同的結果。 (require '[clojure.core.reducers :as r]) (.. Runtime getRuntime availableProcessors

0熱度

1回答

在Python中使用CountVectorizer Mapper Reducer

我正在嘗試使用python mapper reducer函數應用tokenizer。我有以下代碼，但我不斷收到錯誤。 reducer輸出列表中的值，並將值傳遞給vectorizer。 ValueError：空的詞彙表;也許文件只包含停止詞謝謝你提供的任何幫助。

0熱度

1回答

Hadoop的2.6和2.7的Apache Terasort在500GB或1TB

當運行一張地圖，當減速開始從0到100，沒有云： 15/05/12 07:21:27 INFO terasort.TeraSort: starting 15/05/12 07:21:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java

4熱度

1回答

什麼是Hadoop減速器的理想數量？

如Hadoop的維基給計算減速器理想數目0.95或1.75 *（*節點mapred.tasktracker.tasks.maximum）但當選擇0.95和1.75時？在決定乘數時考慮的因素是什麼？

0熱度

1回答

從減速器發射列數據作爲一行

我想處理一個csv文件。 In map()我會將每列作爲值發送給reducer。 In reducer我會找到最小和最大值以及進一步的處理。處理後我需要上下文。寫入值。但嘗試以特定方式輸出。在reducer中，我正在處理每列，但我需要輸出整個row 即col1的值，col2的值，col3的值，col4的值。從減速器處理之後樣本數據 in reducer 0.62 0.38 0.9 in

0熱度

4回答

知道mapper和reducer的用法

我正在運行超過550 Gb數據的拉丁腳本。減速機是默認值1.需要大約38分鐘才能生成結果。我想知道是否增加減速器的數量將更快地執行腳本任何幫助將不勝感激。另外，我想知道設置mapper和reducer的概念。

2熱度

1回答

一直在Clojure 1.5的Reducers庫中有傳感器？

我聽到的評論使今天：「Tranducers在那裏，一直以來，他們來到與reducers in 1.5」事實上 - Richs的Anatomy of a Reducer blog entry，熊顯着相似的logic used in his Strange Loop Transducers talk。（用'換能器'代替'變壓器'）。我的問題是：一直在Clojure 1.5的Reducers庫中

10熱度

2回答

Hadoop MapReduce：對歸約者數量的澄清

在MapReduce框架中，映射器生成的每個關鍵字都使用一個歸約者。所以你會認爲指定Hadoop MapReduce中Reducers的數量沒有任何意義，因爲它依賴於程序。但是，Hadoop允許您指定要使用的還原器數量（-D mapred.reduce.tasks =還原劑數量）。這是什麼意思？減速機數量的參數值是指定有多少機牀資源進入減速機，而不是使用的實際減速機數量？

2熱度

2回答

Hadoop中的合併器，縮減器和生態系統工程

您如何看待site中提到的問題4的答案是？就是答案對錯問：4 In the standard word count MapReduce algorithm, why might using a combiner reduce theoverall Job running time? A. Because combiners perform local aggregation of word

1熱度

1回答

Hadoop基礎：地圖任務映射器的數量減少任務減速器

映射器和地圖任務之間有什麼區別？同樣，減速和減少任務？另外，在執行mapreduce任務期間，mappers，maptasks，reducer，reducetasks的數量是多少？給他們之間的相互關係，如果有的話。