mongodb-hadoop

0熱度

1回答

對於入門MongoDB的-的Hadoop適配器我這裏指的是manual 我的系統上運行的現有的Hadoop版本是0.20.2。所以我編輯的build.sbt文件 hadoopRelease在ThisBuild：= 「0.20.2」。但是，當我嘗試「sbt包」的下一個命令，我得到以下錯誤。 [error] Hadoop Release '%s' is an invalid/unsupported

0熱度

1回答

mongo-hadoop包裝upsert與火花似乎並沒有工作

我試圖使用MongoDB連接器的Hadoop與Spark查詢MongoDB中的一個集合，並插入所有文件檢索到另一個集合。 MongoUpdateWritable類用於RDD的值來更新MongoDB中的集合，並且它有一個upsert標誌。不幸的是，upsert標誌似乎對執行沒有影響。代碼正在執行，沒有錯誤，就像upsert標誌被設置爲false一樣。（Scala）代碼連接到本地主機mongod進程

1熱度

1回答

Spark Mongo Hadoop連接器沒有映射數據

我正在嘗試從mongodb-hadoop連接器映射數據到spark應用程序中。在這之前我沒有其他錯誤，所以我假設與mongodb的連接是成功的。即時通訊使用下面的代碼映射： JavaRDD<AppLog> logs = documents.map( new Function<Tuple2<Object, BSONObject>, AppLog>() { public App

1熱度

2回答

使用mongoDB的Hadoop：NoClassDefFoundError MongoConfigUtil

我正在學習如何使用mongodb數據作爲輸入來編寫hadoop中的map/reduce作業。所以我也跟着this例子，但我得到了以下錯誤： Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/util/MongoConfigUtil at WordCount.main(WordCoun

2熱度

2回答

Hadoop與MongoDB概念

嗨，我是Hadoop和NoSQL技術的新手。我開始通過讀取存儲在HDFS中的文件並進行處理來學習世界計數程序。現在我想在MongoDB中使用Hadoop。從here開始計劃。現在我對它存在困惑，它將mongodb數據存儲在本地文件系統中，並將本地文件系統中的數據從map/reduce讀取到HDFS，然後再將其寫入到mongodb本地文件系統。當我學習HBase時，我們可以將其配置爲將其數據存儲在

0熱度

1回答

MongoDB Hadoop PIG腳本引發「未定義參數：gte」異常

我正在將數據從mongodb導入hdfs。我目前使用PIG腳本來加載數據。我需要每3小時從mongodb獲取數據。爲此，我需要傳入mongo.input.query參數。但是我得到以下異常 java.io.IOException: org.apache.pig.tools.parameters.ParameterSubstitutionException: Undefined parameter

0熱度

1回答

MongoDB hadoop連接器無法在mongo hive表上查詢

我正在使用MongoDB hadoop連接器在hadoop中使用hive表查詢mongoDB。我能夠執行 select * from mongoDBTestHiveTable; 但是，當我嘗試執行下面的查詢 select id from mongoDBTestHiveTable; 它拋出異常以下。下面的類存在於hive lib文件夾中。異常堆棧跟蹤： Diagnostic Messa

0熱度

2回答

藉助Morphia使用Hadoop中的MongoDB數據

我一直在玩MongoInputFormat，它允許MongoDB集合中的所有文檔通過Hadoop中編寫的MapReduce作業。正如你可以在所提供的實施例（this，this和this）該文件是在該類型被提供給映射器看到的是一個BSONObject（一個用Java接口）。現在我也非常喜歡Morphia，它允許將來自MongoDB的原始數據映射到更容易使用的POJO。因爲我只能得到一個BSON

0熱度

1回答

Spark：Mongo-Hadoop如何查詢

我正在嘗試使用Spark和mongo-hadoop對經緯度/緯度座標進行更改的MongoDB執行$ near查詢。我如何使用mongo-hadoop進行查詢？除了somethnig像： mongodbConfig.set("mongo.input.query", "{'field':'value'}")我看不出有什麼意義。有什麼想法嗎？

2熱度

1回答

如何用Spark的Mongo-Hadoop連接器刪除文檔（記錄）

我正在使用Mongo-Hadoop連接器來使用Spark和MongoDB.I想從MongoDB中刪除RDD中的文檔，看起來有一個MongoUpdateWritable to支持文檔更新。有沒有辦法使用Mongo-Hadoop連接器進行刪除？感謝