apache-sqoop

0熱度

1回答

我正在對由計算量大的自定義查詢生成的大型記錄集進行原型遷移。這個查詢大約需要1-2個小時在SQL Developer中一個結果集返回我試圖此查詢傳遞給一個簡單的Sqoop工作與鏈接JDBC到HDFS 我在日誌中遇到了以下錯誤： 2016年2月12日10：15：50690 ERROR mr.SqoopOutputFormatLoadExecutor [org.apache.sqoop.job.mr

0熱度

1回答

將數據從Oracle提取到Hadoop。 Sqoop是一個好主意

我正在尋找從Oracle數據庫提取一些數據並將其傳輸到遠程HDFS文件系統。似乎有幾個可能的方法來實現這一點：使用Sqoop。此工具將提取數據，將其複製到網絡中並直接存儲到HDFS中使用SQL讀取數據並存儲在本地文件系統中。完成後，將數據複製（ftp？）到Hadoop系統。我的問題是第一種方法（對我來說工作會減少）會導致Oracle鎖定表的時間超過所需時間？我擔心的是，Sqoop可能會在數

0熱度

1回答

相當於 'IN' 或sqoop

'而不是' 運營商的我有一個sqoop工作託倫，這些條件包括： WHERE cond1='' AND date = '2-12-xxxx' AND date = '3-12-xxxx' AND date = '3-12-xxxx'. 是否有一個有條件的sqoop類似於SQL？

-1熱度

2回答

Sqoop導入/導出問題

我正在尋找使用具有直接功能的Sqoop導入/導出選擇性列。我可以使用---列屬性與sqoop導出 - 直接嗎？快速反應將不勝感激！謝謝。

0熱度

1回答

Sqoop進口--validate記錄行數驗證結果

sqoop進口--connect abc.com --table測試--validate 在上面import語句執行，哪裏sqoop進口--validate記錄行計數驗證結果？在日誌文件夾中？

0熱度

2回答

如何使用shell腳本編寫Sqoop作業

我的使用案例：每天小時表在mysql db中被創建。我需要使用Sqoop每天將它們移動到HDFS，並使用Impala處理HDFS數據。如何編寫一個shell腳本或作業才能將新創建的表數據定期移動到HDFS（現有文件系統）？今天說的是2016年1月3日，當我今天運行我的工作，然後2016年1月2日的數據應該從mysql遷移到HDFS，就像每天的廣泛它應該移動前一天的數據。每日我需要在此HDF

0熱度

1回答

使用sqoop從多個數據庫導入數據

我想從多個SQLsever數據庫（100+）使用sqoop導入HDFS的某些表。有人可以指導我如何去做？一個自動化腳本將會很好。

1熱度

2回答

sqoop，請選擇具體的列

在sqoop語句中，是否有一條規定，我們只能從oracle端選擇特定的列？ 1：工作 sqoop import --target-dir /tmp/customers --query "SELECT * FROM schema1.customers where item>=1234 and \$CONDITIONS" --connect jdbc:oracle:thin:@server1.comp

1熱度

1回答

如何在Spark中使用Scala連接兩個Hbase表格

我有兩張需要使用scala連接的HBase表格。這些表格使用sqoop從Oracle導入，並可用於查詢Hue數據瀏覽器使用Spark 1.5，Scala 2.10.4。我使用的是從這裏HBase的數據連接器：https://github.com/nerdammer/spark-hbase-connector import it.nerdammer.spark.hbase._ import o

1熱度

1回答

如何將Netezza連接到CDH 3羣集？

如何將數據從Netezza導入我的CDH 3羣集。我們可以用MapReduce或Sqoop來做到嗎？ Sqoop能否支持從Netezza到CDH 3集羣的數據導入？