mrjob

2熱度

1回答

我有一個python文件來計算在Hadoop（版本2.6.0）上使用mrjob的bigrams，但是我沒有得到我期望的輸出因爲我無法破譯我的終端中的輸出，因爲我錯了。我的代碼： regex_for_words = re.compile(r"\b[\w']+\b") class BiCo(MRJob): OUTPUT_PROTOCOL = mrjob.protocol.RawProt

1熱度

1回答

socket.gaierror嘗試使用python mrjob運行emr

我當前正在嘗試學習mrjob以及如何在AWS EMR中實現它，所以請原諒我，如果我詢問已詢問的問題[搜索了很多地方但未找到答案]和抱歉，如果這是一個愚蠢的問題這是我的Python腳本： from mrjob.job import MRJob class MRWordFrequencyCount(MRJob): def mapper(self, _, line): yi

0熱度

2回答

如何獲得mrjob中文本的平均單詞數？

進出口套牢在mrjob mareduce框架一個簡單的問題：我想在一個給定的parragraph字的平均數，我得到這個： class LineAverage(MRJob): def mapper(self, _, line): numwords = len(line.split()) yield "words", numwords yield "lines", 1

1熱度

1回答

MRJob - 限制任務嘗試次數

在MyJob中，如何限制任務嘗試次數（如果任務失敗）？我有很長時間的運行任務（相應地增加了超時時間），但是我希望在同一任務失敗兩次嘗試後結束作業，而不是4-5。我不能在這個文檔中找到這樣的事： http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

1熱度

1回答

MrJob花費了大量的時間複製本地文件到HDFS

我現在遇到的問題是這樣的：在已經把我的input.txt（50MBytes）文件到HDFS，我跑 python ./test.py hdfs:///user/myself/input.txt -r hadoop --hadoop-bin /usr/bin/hadoop 看來， MrJob花費大量時間將文件複製到hdfs（又是什麼？） Copying local files into hdfs

2熱度

1回答

將Comomn抓取位置作爲使用mrjob的Amazon EMR輸入python

自從我開始使用mrjob並且我已經嘗試了某些中低級任務以來，我只有幾天的時間了。現在，我堅持將常用抓取[now onwards will be know as CC]位置作爲emr的輸入使用python mrjob 我的配置文件看起來像這樣： runners: emr: aws_access_key_id: <AWS Access Key> aws_secret_ac

2熱度

1回答

錯誤在Mac上安裝mrjob（OS X 10.11.1）

打字在終端 pip install mrjob 提供了錯誤信息：「NameError：名稱 '的execfile' 沒有定義」和「命令」蟒蛇setup.py egg_info 「在/私人失敗，錯誤代碼1 ...」使用 sudo pip install mrjob 也給出了同樣的錯誤消息。此外，它給出了以下消息： Password: The directory '/Users/.../Li

1熱度

1回答

Amazon EMR + mrjob：引導程序錯誤，「引導操作1返回了非零返回碼」

我試圖在使用ec2實例的Amazon EMR上運行mrjob。它一直在工作，直到我意識到我正在使用python包（機械化，BeautifulSoup，boto）。所以，我加入到我的mrjob.conf文件，但現在我不斷收到此錯誤： No handlers could be found for logger "mrjob.emr" Traceback (most recent call last)

3熱度

1回答

不能運行python MRJob本地

如果我理解正確MRJob，您可以通過運行它與 python mrfile.py -r local input.txt 模擬使用MRJob Hadoop的多進程運行，我運行Windows（現在別無選擇），當我發出上面的命令，我得到一堆曼波巨無霸，並在最後它告訴我： WindowsError: [Error 2] The system cannot find the file specified

0熱度

1回答

這個MRJob例子說明

from mrjob.job import job class KittyJob(MRJob): OUTPUT_PROTOCOL = JSONValueProtocol def mapper_cmd(self): return "grep kitty" def reducer(self, key, values): yield No