將SQL服務器數據庫導入到HDFS或HIVE

Question

我在azure上部署了hdinsight羣集。我需要將SQL數據庫複製到Hdfs位置或直接複製到配置單元。我是建立這些連接的新手。請讓我知道這些建議。謝謝。

Answer 1

看起來你並不清楚你需要什麼。你能提供關於這個任務的更多細節嗎？

但同時我建議您驗證Hive或HDFS的配置文件（.xml）和連接。

下面的鏈接可能會爲調試對您有所幫助： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-use-hive

https://msdn.microsoft.com/en-us/library/dn749882.aspx#sec3

Answer 2

如果我理解正確你的要求，那麼你需要使用Sqoop到SQL數據庫導入到HDFS。使用下面的命令（如果已安裝Sqoop）。此命令將複製的所有表的模式爲默認位置

sqoop import-all-tables \ 
--connect jdbc:mysql://localhost/<schema name> \ 
--username <username> 
--pass<password> 

然後你就可以使用下面的命令來檢查已導入的表

hadoop fs -ls 

欲瞭解更多信息，你可以訪問https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_literal_sqoop_import_all_tables_literal https://community.hortonworks.com/questions/13132/best-practice-to-import-data-from-sql-server-to-hi.html