hdinsight動作安裝火花1.2

有誰知道如何創建hdisights動作？我現在正在使用actoinscript來安裝spark 1.0.2，但希望在集羣上啓動1.2.x以獲得更多的配置單元支持。我已經閱讀Script Action Development with HDInsight，當我嘗試通過修改微軟提供的actionscript來創建1.2的Spark集羣。這樣做後，我得到一個錯誤，火花不理解文件url'wasb：//'，它需要格式爲'hdfs：//'。在文章中也談到Configure the custom components to use WASB和它說：hdinsight動作安裝火花1.2

The custom components that you install on the cluster nodes might have a 
default configuration to use HDFS storage. You should change the 
configuration to use Azure Storage Blob (WASB) instead. On a cluster 
re-image, the HDFS file system gets formatted and you would lose any data 
that is stored there. Using WASB instead ensures that your data will be 
retained.

這對我來說似乎是被談論的是我得到的錯誤。有誰知道如何編譯支持（WASB）的Spark或如何配置它？

來源

2015-02-11 lockwobr

試試下面的PowerShell - 它對我來說工作得很好。您可能需要先更新您的Azure PowerShell庫。

New-AzureHDInsightClusterConfig -ClusterSizeInNodes $NumClusterNodes -HeadNodeVMSize $VmSize | 
Set-AzureHDInsightDefaultStorage -StorageAccountName $DefaultStorageAccountFqdn -StorageAccountKey $storageAccountKey -StorageContainerName $hadoopContainer | 
Add-AzureHDInsightScriptAction -Name "Install Spark" -ClusterRoleCollection HeadNode -Uri https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1 | 
New-AzureHDInsightCluster -Credential $HdInsightCreds -Name $clusterName -Location $MyClusterLocation -Version $MyClusterVersion

來源

2015-02-13 14:27:14

這不是我想要的，那個代碼會安裝spark，是的，但是它安裝了1.0.2版本，我想要一個安裝1.2.x的腳本。我一直在努力做一個新的腳本來做到這一點，我做了一個，但它不起作用，當你在院子裏啓動安裝的spark代碼它不知道什麼wasb：//是 – lockwobr 2015-02-13 17:53:54

那麼微軟爲Apache Spark 1.2增加了「支持」。昨天它看起來像。如果您使用HDInsight 3.2的新版本並使用這個new action script，它會爲您安裝1.2。我正在測試它！

來源

2015-02-19 15:30:15 lockwobr

他們剛剛刪除你提到的動作腳本。我前一天檢查過它，它可用。不幸的是，*微軟*在幾個小時前剛剛刪除了該腳本，因爲它在此時不可用。 – 2015-02-20 08:18:54

是的，這聽起來是對的，腳本沒有工作。 – lockwobr 2015-02-20 16:26:47

看來他們已經重新啓用了腳本，他們可能在以前的版本中遇到了一些問題，這就是爲什麼他們暫時刪除了它。 – 2015-02-27 08:49:34

hdinsight動作安裝火花1.2

回答

相關問題