mrjob

0熱度

1回答

我試圖以編程方式運行簡單的wordcount示例，但我無法讓代碼在hadoop集羣上工作。作業test_job.py：在mr_job_test.py from mrjob.job import MRJob import re WORD_RE = re.compile(r"[\w']+") class MRWordFreqCount(MRJob): def mapper(s

2熱度

1回答

將mrjob步驟的結果作爲參數傳遞給下一步

我正在編寫多步驟mrjob。第一步驟做一些預處理和用下面的減速結束： def some_reducer(self, key, values): values = (int (value) for value in values) if key == 'iwantthiskey': //I want to pass sum(values) as a parameter

0熱度

1回答

MRJob失敗，Hadoop的錯誤copyToLocal：[...]沒有這樣的文件或目錄

MRJob失敗，錯誤我運行一個集羣EMR使用MRJob一個簡單的Hadoop工作。作業正常啓動，但隨後 Job launched 181.2s ago, status STARTING: Provisioning Amazon EC2 capacity Job launched 211.4s ago, status STARTING: Provisioning Amazon EC2 capac

0熱度

1回答

當使用-pool-emr-job-flows時，MRJob無法在EMR上登錄新作業

我正在使用MRJob在Amazon的EMR上運行迭代hadoop程序。當我沒有使用「--pool-emr-job-flows」選項時，一切正常（但很慢）。當我使用這個選項， Traceback (most recent call last): File "ic_bfs_eval.py", line 297, in <module> res = main() File

2熱度

1回答

在MRJob中的mapper_pre_filter

我一直在試圖給出mapper_pre_filter例子here。現在，如果不是直接在步驟指定命令，如果我寫一個方法返回的命令，就像這樣： from mrjob.job import MRJob from mrjob.protocol import JSONValueProtocol class KittiesJob(MRJob): OUTPUT_PROTOCOL = JSONVa

0熱度

1回答

如何使用不同的參數

運行多個mrjob任務，我有這樣的任務： from mrjob.job import MRJob from mrjob.step import MRStep import urllib import re import httpagentparser UA_STRING = re.compile(MYSUPERCOMPLEXREGEX) class MRReferralAnalys

3熱度

1回答

sys.stdout.write（）在MRJOB映射器中的位置？

mrjob.conf runners: emr: aws_access_key_id: ** aws_secret_access_key: ** aws_region: us-east-1 aws_availability_zone: us-east-1a ec2_key_pair: scrapers2 ec2_key_pair

0熱度

1回答

mrjob InstanceProfile需要創建集羣

我試圖使用python MRJob 這裏是簡單的Python腳本找到一個txt文件 from mrjob.job import MRJob class MRWordFrequencyCount(MRJob): def mapper(self, _, line): yield "chars", len(line) yield "words", len(line.

0熱度

4回答

在Jupyter上的Python 2.7上安裝BeautifulSoup，mrjob，pattern和seaborn

我正在學習如何使用新的Jupyter。我想在python 2.7上安裝包：BeautifulSoup，mrjob，pattern和seaborn。我第一次試圖通過運行pip install BeautifulSoup mrjob pattern seaborn這樣做，所有返回：SyntaxError：無效的語法我也試過from bs4 import BeautifulSoup，它確實爲Beaut

3熱度

1回答

可以使用Conda環境作爲Hadoop Streaming Job的「virtualenv」（使用Python）嗎？

我們目前正在使用Luigi，MRJob和其他框架來運行使用Python的Hadoo流式作業。我們已經能夠使用自己的virtualenv發佈作業，因此節點中沒有安裝特定的Python依賴關係（see the article）。我想知道是否有人與Anaconda/Conda Package Manager做過類似的事情。 PD。我也知道Conda-Cluster，但它看起來像一個更復雜/複雜的解決方案