apache-sqoop

2熱度

2回答

我有一個以下要求：有一個上游系統，它使數據庫表中的鍵入。該條目表明一組數據在數據庫表（oracle）中可用。我們必須攝取這些數據並將其保存爲鑲木地板文件。不需要處理數據。每次有新的密鑰輸入可用時，攝取過程應該開始。對於這個問題陳述，我們計劃有一個數據庫輪詢器來輪詢鍵入口。讀完該條目後，我們需要從Oracle表中提取數據。對於這個攝取目的，哪個工具最好？是Kafka，Sqoop，Spark-SQ

0熱度

1回答

Sqoop增量裝載到分區蜂巢表

如何增量數據加載到一個分區蜂巢表我已經表「用戶」有以下的列，我已經根據created_on場創建蜂巢分區 id bigint, name string, created_on string(yyyy-MM-dd), updated_on string 我創建了一個sqoop工作要導入增量基於最後修改日期 sqoop job --create users -- import --conn

0熱度

1回答

Sqoop命令字段終止行終止不從色相工作

我試圖使用sqoop命令將RDBMS表傳輸到Hadoop。當我從Bitvise SSH客戶端命令行運行命令時，它工作正常。當我從色調Oozie工作流編輯器運行相同的命令，數據傳輸成功。所有數據都在第一個字段中傳送，而不是在適當的字段中。任何人都可以幫助我。 import --connect jdbc:oracle:thin:BISTAGE/[email protected]:1521:Ila

0熱度

1回答

Sqoop進口越來越暫停

我試圖從MySQL表導入HDFS，但抵達該處暫停如下： sqoop import --connect jdbc:mysql://localhost/movielens --username root --table tutorials_tbl --m 1 16/11/26 10:47:33 INFO manager.MySQLManager: Preparing to use a MySQL

0熱度

1回答

Sqoop導出：解析導出錯誤的問題

我在Oracle 11g中使用了sqoop 1.4.6，並且我想要使用OraOop連接器在導出過程中使用Sqoop從現有的表創建新的Oracle表。我得到這個錯誤： 16/12/13 21:25:29 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 16/12/13 21:25:29 WARN tool.BaseSqoopTool: Setting

0熱度

1回答

更改交易中Sqoop

隔離級別設置行爲，目前，我們正在嘗試使用Sqoop攝取從Hadoop的天青SQL數據倉庫相關的事務隔離級別的數據，但收到錯誤。發生了什麼事是Sqoop嘗試設置事務隔離級別，同時試圖導入/導出，而這個功能目前尚未在SQL Azure中的數據倉庫支持提交讀。我試過使用Sqoop的--relaxed-isolation參數，但仍然沒有效果。作爲解決方案，我在考慮： 1.更改Sqoop源代碼以更改Sqo

1熱度

1回答

Sqoop import failiing

我試圖在hadoop羣集中運行並行sqoop作業，但是我們發現在並行運行期間sqoop作業失敗，出現以下錯誤。 16/11/11 09:24:59 ERROR manager.SqlManager: Error executing statement: java.sql.SQLRecoverableException: IO Error: Connection reset java.sql.SQ

2熱度

2回答

Sqoop「create-hive-table」不適用於Hortonworks中的Teradata

我們使用apache Sqoop將數據從Teradata系統卸載到Hortonworks平臺中的Hive表中，使用Hortonworks Connector for Teradata。我們正在嘗試使用Sqoop命令「create-hive-table」在Sqoop中創建Teradata中的Hive表。如果Teradata中沒有間隔/期間數據類型，但表失敗（錯誤：不支持的數據類型）（如果該表包含間

0熱度

1回答

Sqoop從Mysql導入到Hadoop hdfs使用Java

我想從使用Java的Mysql加載到HDFS中。我的Hadoop版本2.7.2和Sqoop 1.4.6。我收到以下異常錯誤security.UserGroupInformation：PriviledgedActionException 爲：XXXX引起：org.apache.hadoop.ipc.RemoteException：服務器IPC 9版本無法與客戶端版本通信4 16/11/16十七點4

0熱度

1回答

用戶不屬於supergroup

運行Sqoop import-all-table命令時出現錯誤。 chgrp: changing ownership of 'hdfs://quickstart.cloudera:8020/user/hive/warehouse/retail_db.db/categories/part-m-00000': User does not belong to supergroup。的命令是sqoop