MongoDB的ETL（PHP/Java的...）

Question

是否有MongoDB的？一個ETL ...

Answer 1

Pentaho數據集成支持MongoDB（請參閱文檔http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps）。

同樣拓藍支持MongoDB的：https://github.com/adrien-mogenet/tMongoDBConnection

Answer 2

對於CSV文件，我建議看Import Export Tools的Mongo wiki頁面的簡單插入。

對於任何更復雜的事情，我建議你用最適合的語言編寫一個特別的腳本。

Answer 3

看來，Pentaho的數據集成和了Talend僅支持從MongoDB的閱讀，但不寫。

剛剛宣佈支持MongoDB的另一個工具是DataCleaner，它支持讀取和寫入操作。它本身並不是一個ETL工具，更像是一個數據質量分析工具，但它也具有類似於ETL的功能。

http://datacleaner.eobjects.org

Answer 4

我創建了Python腳本我自己的ETL解決方案將數據從MySQL轉移到MongoDB的。在我的腦海裏真棒。

基本上，我使用以下兩種python模塊，用於訪問的MySQL和MongoDB：

1. pymongo
2. 蟒-mysql.connect

他們兩人都是從Ubuntu官方庫安裝。

Answer 5

我爲Scriptella ETL工具創建了MongoDB驅動程序。它可在https://github.com/scriptella/scriptella-mongodb。

從關係表遷移數據的示例：

<connection id="out" url="mongodb://localhost/test" classpath="../lib/scriptella-mongodb-driver.jar:../lib/mongo-java-driver-2.10.1.jar" /> 

<query connection-id="in"> 
    SELECT * FROM USERS 
    <script connection-id="out"> 
     { 
      operation: 'db.collection.save', 
      collection: 'users', 
      data: { 
       user_id: '?user_id', 
       name: '?name' 
      } 
     } 
    </script> 
</query> 

Answer 6

這個PHP程序自動的MongoDB數據庫 傳送到MySQL，它內部檢查Mogno集合，創建的MySQL架構和數據傳送。 它確實它只有1級深（級別0和1），更深的嵌套不遷移：

http://my.sociopal.com/sociopaltech/post?id=simple_utility_for_copying_data_from_mongodb_to_mysql_this_is_a_simple_php_program_im_using_in_o_61755

Answer 7

Pentaho的DI支持MongoDB的讀取。我不確定寫道。我會考慮考慮MongoDB的底層結構，而不是傳統的RDBMS，使用python/java尋找自定義ETL過程/腳本可能更好，而不是現成的工具，它們可能無法做到他們聲稱的那樣。最終BI-ETL市場中的這些參與者之一將會在他們的工具中使用這個工具，一旦這個過程成熟並且多次測試mongoDb