我想在這個數據集使用字數:的MapReduce在MPI
http://snap.stanford.edu/data/web-Movies.html
我無法找到互聯網,這將有助於我這樣做的程序。
請提出建議嗎?
我想在這個數據集使用字數:的MapReduce在MPI
http://snap.stanford.edu/data/web-Movies.html
我無法找到互聯網,這將有助於我這樣做的程序。
請提出建議嗎?
這是一個非常適合MapReduce的東西。如果你是一個Python傢伙,你可能會喜歡mrjob,它實際上在他們的許多文檔中使用了一個字數統計的例子: http://pythonhosted.org/mrjob/guides/writing-mrjobs.html
看看easyLambda。它是基於數據流和map-reduce的C++和MPI庫。它也有一個字數統計的例子。
謝謝,但我需要使用MPI使用C或C++。 – Ankvis
它應該是一個MPI很容易處理的問題。但是這將會變得更加困難,因爲你必須自己處理所有的交流。 – user3499545