Azure SQL作爲HDInsight的外部Sqoop Metastore

Question

美好的一天！

是否有任何文檔說明如何將Azure SQL配置爲HDInsight的外部Sqoop Metastore？

通常HDInsight集羣是作爲計算資源動態生成的，然後在完成工作後關閉。

這就是爲什麼Sqoop作業定義需要在羣集重新啓動或附加新羣集之後生存的原因。

理想情況下，外部sqoop metastore應在其創建過程中動態地附加到新的羣集。

問候，

-Yuriy

Answer 1

事實證明，如果你能在創建SQL Azure的天青或MySQL的下面這些表，然後使用Sqoop的--meta連子句連接新metastore 但那麼就有這個限制Sqoop on HDInsight does not close JDBC connection properly?

CREATE TABLE SQOOP_ROOT (
version INT, 
propname VARCHAR(128) NOT NULL, 
propval VARCHAR(256), 
CONSTRAINT SQOOP_ROOT_unq UNIQUE (version, propname)) 
INSERT INTO SQOOP_ROOT 
     VALUES(
      NULL, 
      'sqoop.hsqldb.job.storage.version', 
      '0'); 

      INSERT INTO SQOOP_ROOT 
VALUES(
    0, 
    'sqoop.hsqldb.job.info.table', 
    'SQOOP_SESSIONS' 
     ); 

    CREATE TABLE SQOOP_SESSIONS(
     JOB_NAME VARCHAR(64) , 
     PROPNAME VARCHAR(128) , 
     PROPVAL VARCHAR(1024) , 
     PROPCLASS VARCHAR(32) , 
     CONSTRAINT SQOOP_SESSIONS_unq UNIQUE 
(JOB_NAME , 
PROPNAME , 
PROPCLASS) 
     );