sqoop

2熱度

2回答

我想從SQL Server 2008 R2數據庫導入一個簡單的表到配置單元。 Hadoop version - CDH3U3 Sqoop version - 1.3.0-cdh3u3 $SQOOP_HOME/lib - sqljdbc4.jar $SQOOP_HOME/lib - sqoop-sqlserver-1.0.jar $SQOOP_CONF_DIR/managers.d/mssq

2熱度

1回答

如何使用命令行選項控制Hadoop任務重試策略？

我想使用命令行選項來控制Hadoop作業重試策略。例如，我想寫出下列Sqoop工作，有它可以容錯到MySQL中斷： sqoop GENERIC_SQOOP_OPTIONS -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 對於一般的Hadoop作業時，它可能看起來像： hadoop job

2熱度

1回答

使用Sqoop導出到Postgresql ltree

要將我的數據從HDFS導出到Postgres，我正在使用Sqoop（1.3.0-cdh3u4）。主要問題是我有一列類型的ltree。 ERROR orm.ClassWriter: Cannot resolve SQL type 1111 ERROR orm.ClassWriter: No Java type for SQL type 1111 for column path 即使使用--ma

0熱度

1回答

在Windows上安裝Hive和sqoop（Cygwin）

有人可以幫助我提供在Cygwin上安裝Hive和Sqoop的步驟。我已經在Cygwin上安裝了Hadoop-0.20.2和Hbase最新的stable-0.94.1，並且運行良好。

1熱度

1回答

上次修改的Sqoop增量類型不會執行增量導入

我正在使用Sqoop v1.4.2執行帶作業的增量導入。這些作業是： --create job_1 -- import --connect <CONNECT_STRING> --username <UNAME> --password <PASSWORD> -m <MAPPER#> --split-by <COLUMN> --target-dir <TARGET_DIR> --table <TABL

1熱度

1回答

「YYYYMMDD」：嘗試通過SQOOP時發生無效的標識符錯誤

請從下面的錯誤中幫助我。在Oracle中檢查時它工作正常，但在嘗試通過SQOOP導入時失敗。版本：Hadoop的0.20.2-cdh3u4和Sqoop 1.3.0 cdh3u5 sqoop import $SQOOP_CONNECTION_STRING --query 'SELECT st.reference,u.unit,st.reading,st.code,st.read_id,st.av

0熱度

2回答

將HBase表導出到mysql

我正在使用hbase-0.90.6。我想將數據從HBase導出到mysql。我知道兩步過程，首先通過運行mapreduce作業將Hbase數據拉入平面文件，然後將平面文件數據導出到mysql中。是他們的任何其他工具，我可以用它來減少這兩步到一個。或者我們可以使用sqoop在一個步驟中執行相同的操作。謝謝。

1熱度

1回答

com.cloudera.sqoop.SqoopOptions vs org.apache.sqoop.SqoopOptions有什麼區別嗎？

Iam new in sqoop.Actual iam used sqoop import & export through command line arguments.But now iam trying to implment with java.I got compile time error when calling expTool.run(sqoopoptions) when usin

1熱度

1回答

如何在sqoop導入中修改查詢內容？

對不起，我可憐的英語... 這是我的問題。我必須將數據從MySQL導入HBase。爲了提高性能，一個大表在MySQL中被分成一些小表。例如，'消息'表被分成'message_0'，'message_1'，...'message_100'。我需要將這些消息表導入HBase中的單個表（例如「消息」）。每個表中的PK都是message_id，它是自動遞增的。我們知道，HBase有一個獨特的行鍵。我想爲

1熱度

1回答

在Hadoop中使用DBOutputFormat

當使用DBOutputFormat與hadoop，說最後的結果是去MySql數據庫。每次必須寫入結果時，Hadoop是否會創建單獨的連接？（DB會負擔太多開放連接）。我沒有使用格式，所以任何建議都可以接受。性能優於Sqoop？ Sqoop也可用於將輸出文件導出到數據庫。請分享您的觀點。