Azure HDInsight羣集每隔幾天(由Microsoft隨機?)重新啓動,並且在此過程中,對hive-site.xml的任何自定義更改(如添加JsonSerde)都會丟失,而沒有任何預先警告,因此Excel/PowerPivot的配置單元查詢開始中斷。HDInsight持久性Hive設置
你應該如何處理這種情況 - 我們是否被迫將我們的數據存儲爲CSV文件?
Azure HDInsight羣集每隔幾天(由Microsoft隨機?)重新啓動,並且在此過程中,對hive-site.xml的任何自定義更改(如添加JsonSerde)都會丟失,而沒有任何預先警告,因此Excel/PowerPivot的配置單元查詢開始中斷。HDInsight持久性Hive設置
你應該如何處理這種情況 - 我們是否被迫將我們的數據存儲爲CSV文件?
如果在羣集創建時指定Hive config參數和自定義配置對象,它應該保留。這裏的鏈接http://hadoopsdk.codeplex.com/wikipage?title=PowerShell%20Cmdlets%20for%20Cluster%20Management有關於使用自定義配置創建羣集的更多詳細信息。
爲了在操作系統更新或節點重新映像期間保留自定義,您應該考慮使用腳本操作。這裏是鏈接:http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-customize-cluster/
這在MSDN博客中具有顯示哪些自定義選項通過不同的方法,以及使用PowerShell的或SDK來創建自定義的配置單元的配置參數集羣實例支撐的工作臺(62號線在Powershell示例中爲-64):http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/15/customizing-hdinsight-cluster-provisioning-via-powershell-and-net-sdk.aspx
這是持續這些設置的唯一方法,因爲羣集節點可以針對Azure服務事件(例如安全更新)進行重置,並且在此時將配置設置回初始值發生。