cloudera

1熱度

1回答

我想從水槽控制檯收集日誌，我開始用下面的命令水槽： process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | agentBESink("localhost", 12345)' 但它說： 10/09/22 13:59:21 INFO agent.FlumeNode: Loading s

5熱度

1回答

Flume代理 - 我可以指定像gzip或bz2一樣的壓縮嗎？

是否可以在Flume代理上指定壓縮選項，以便將數據以壓縮格式傳輸到收集器？我知道收集器級別上有壓縮選項，但它也能夠從代理傳輸壓縮數據也非常有用。謝謝！

0熱度

2回答

Hadoop把命令無所作爲！

我正在運行Cloudera的Hadoop發行版，一切正常。hdfs包含大量.seq文件。我需要將所有.seq文件的內容合併到一個大的.seq文件中。但是，getmerge命令我沒有爲我做任何事情。然後我使用cat並將一些.seq文件的數據傳送到本地文件上。當我想將此文件「放」到hdfs中時，它什麼也不做。沒有錯誤信息顯示出來，也沒有創建文件。我能夠在hdfs中「touchz」文件和用戶權限在這裏

5熱度

2回答

爲什麼我的流式傳輸命令在MapReduce基礎程序中失敗？

我正在嘗試運行Ruby Hadoop流式處理程序，該程序在「Ruby的權威指南」中給出。這是我所使用的命令：的文件路徑是正確的。當我運行命令，我得到這樣的錯誤： packageJobJar: [/var/lib/hadoop-0.20/cache/cloudera/hadoop-unjar7505856816337735719/] [] /tmp/streamjob54406134342

7熱度

1回答

Hadoop：中間合併失敗

我遇到了一個奇怪的問題。當我運行在一個大的數據集我的Hadoop作業（> 1TB壓縮文本文件），數的減少任務失敗，有這樣的蹤跡： java.io.IOException: Task: attempt_201104061411_0002_r_000044_0 - The reduce copier failed at org.apache.hadoop.mapred.ReduceTask.

1熱度

1回答

我可以在沒有root權限的情況下使用hadoop cloudera嗎？

有點二進制問題（好吧，不感興趣） - 但想知道是否能夠配置cloudera/hadoop運行在沒有root shell訪問節點計算機的節點上（儘管我可以設置ssh無密碼登錄）？從他們的指示出現，需要根訪問，但我發現了一個hadoop wiki，它可能不需要根訪問權限？ http://wiki.apache.org/nutch/NutchHadoopTutorial

0熱度

1回答

是用於hadoop的eclipse插件與CDH3一起工作

我在我的機器上安裝了cloudera CDH3。然後我嘗試使用eclipse插件（JIRA MAPREDUCE-1280）來完成一些MR任務。但是，由於某些原因，插件似乎不適用於CDH3。它無法連接到DFS。有沒有得到插件的工作？

2熱度

3回答

日誌沒有出現在控制檯:([Hadoop問題]

我想調試WordCount示例Cloudera Hadoop但我不能。我記錄了映射器和reducer類，但在控制檯不會出現在日誌中。我附上圖片。在第一個圖像中，Java日誌。在第二imagen畫質，結果日誌。它不會出現第一個:( http://i56.tinypic.com/2eztkli.png 任何人都知道??非常感謝!!