使用HDInsight創建外部數據源

我正嘗試使用HDInsight羣集創建外部數據源。在這樣做時，我需要提供Hadoop，名稱，節點，IP地址和端口號。使用HDInsight創建外部數據源

那麼，我可以在哪裏找到HDInsight羣集上的名稱，節點，IP地址，資源管理器位置，IP地址和端口號？

我已瀏覽Core-site.xml & yarn-site.xml並且HDInsight找不到任何東西。

--- 3：創建外部數據源的語法。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH ( 
    TYPE = HADOOP, 
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx', 
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx', 
    CREDENTIAL = HadoopUser1   
);

- 位置（必需）：Hadoop名稱節點IP地址和端口。
- 資源管理器位置（可選）：用於啓用下推計算的Hadoop資源管理器位置。
- CREDENTIAL（可選）：上面創建的數據庫作用域憑證。

謝謝。

來源

2016-11-27 Shankar

如果我正確理解您的問題，您已經擁有一個HDInsight羣集，並試圖讓Azure SQL DW通過外部表與它通話。如果您搜索「Azure SQL數據倉庫」的CREATE EXTERNAL DATA SOURCE文檔的語法部分，您將看到Azure SQL DW中的Polybase目前唯一的方式就是與Azure Blob存儲進行通信。（請繼續關注Azure中的Polybase文檔頁面隨着時間的推移，SQL DW將隨着時間的推移而變得更加靈活）

因此，現在您應該將HDInsight寫入到Hive中定義的外部表中，然後使用Azure SQL DW指向blob存儲中相同的文件夾並聲明自己的讀取這些blob的外部表。

來源

2016-11-30 01:23:17 GregGalloway

使用HDInsight創建外部數據源

回答

相關問題