sqoop

7熱度

1回答

若要在Sqoop中安裝MySQL連接器，我需要將該Jart文件放在Sqoop目錄中，但找不到它（它不在/usr/lib/sqoop中）。我在多臺機器上安裝了Cloudera的Sqoop。我在哪裏可以在其中一臺機器上找到Sqoop目錄？

0熱度

1回答

我正在從mysql導入表格給配置單元。該表有2115584行。在導入過程中我看到 13/03/20 18:34:31 INFO mapreduce.ImportJobBase: Retrieved 2115584 records. 但是，當我在導入的表做一個count(*)我看到它有49262250行。到底是怎麼回事？更新：當指定--direct時，導入正常工作。

3熱度

5回答

Sqoop - org.apache.sqoop.Sqoop

我安裝Hadoop的，蜂巢，HBase的，Sqoop，並將它們添加到PATH無法找到或加載主類。當我嘗試執行sqoop命令，我得到這個錯誤： Error: Could not find or load main class org.apache.sqoop.Sqoop 開發環境：操作系統：Ubuntu的12.04 64位的Hadoop版本：1.0 .4 Hive版本：0.9.0 HBas

0熱度

2回答

如何創建從配置單元表到關係數據庫的數據管道

背景：我有一個Hive Table「log」，其中包含日誌信息。該表每小時加載一次新的日誌數據。我想在過去的2天內對日誌做一些快速分析，所以我想將最近48小時的數據提取到我的關係數據庫中。爲解決上述問題，我創建了一個由HIVE SQL查詢加載的登臺配置單元表。在將新數據加載到登臺表後，我使用sqoop Query將新登錄加載到關係數據庫中。問題是sqoop正在將數據加載到BATCH中的關係數

0熱度

2回答

當從SQL Server導入時，sqoop是否獲取任何鎖定？

我正在使用sqoop從SQL Server導入HDFS。我想知道是否在我從中導入的桌子上有鎖，如果有的話，是否有辦法做到相當於WITH(NOLOCK)？

1熱度

2回答

我可以使用Sqoop將數據導入RCFile格式嗎？

據http://sqoop.apache.org/docs/1.4.0-incubating/SqoopUserGuide.html#id1764646 可以導入兩種文件格式之一的數據：分隔文本或 SequenceFiles。但是RCFile呢？是否可以使用Sqoop將數據從Oracle DB導入到HDFS格式的RCFile中？如果是，該怎麼辦？

3熱度

1回答

Sqoop增量導入到S3錯誤的FS錯誤

當在sqoop import中使用--incremental append標誌時，作業將失敗。 ERROR tool.ImportTool: Imported Failed: Wrong FS: s3n://<api_key>:<api_secret>@bucket/folder/ 以下是完整的命令： sqoop import --connect jdbc:postgresql://somepla

1熱度

2回答

如何創建和配置Hadoop客戶端腳本？

有一個正在運行的Hadoop集羣。我已經下載了Hadoop發行版（本例中爲0.20.205.0）我需要創建一些shell腳本（bash/zsh/perl），以便能夠在該集羣上調用Hadoop。理想情況下，應該能夠從Sqoop腳本調用這種方式： exec ${HADOOP_HOME}/bin/hadoop com.cloudera.sqoop.Sqoop "[email protected]"

0熱度

2回答

Sqoop導入零小數爲0E-22

當我使用我的MSSQL數據庫中的hadoop和sqoop導入表並且該表具有十進制列時，任何爲零的列（例如，0.000000000000 ..）都將保存爲「0E-22」。當在我的Map中將值轉換爲小數值或減少它時會引發異常，這是相當痛苦的。所以我要麼在試圖轉換它之前將列導出爲varchar或者檢查。兩者都不是理想的。有沒有人遇到過這個，並得到了解決？謝謝

1熱度

1回答

使用Sqoop從Sybase導入數據的問題

我正嘗試使用Sqoop從Sybase導入數據。從日誌我可以說，我已經被迫成功地做了一個連環。但我的工作沒有給我一些來自Sybase的Sql異常。我不主要在Sybase上工作，所以無法挖掘出這個錯誤。我的來源中只有一位來自Sybase。我用下面的命令： sqoop import --verbose \ --driver com.sybase.jdbc3.jdbc.SybDriver \ -