Apache spark - 如果您錯誤地拼寫屬性會發生什麼

Question

我正在修改Apache spark中的默認屬性。我在AWS上使用EMR旋轉集羣。但是，我正在設置屬性，並且不確定如何檢查我的新配置是否替換默認配置。

作爲一個例子，我想修改Spark中的默認序列化。因此，我在創建羣集時提供以下配置。

「分類」： 「火花默認」， 「屬性」：{
「spark.serializer」： 「org.apache.spark.serializer：KryoSerializer」

當我然後檢查火花屬性通過Spark UK在港口：4040或通過YARN方法，我看到那裏的財產被設置。不過，目前還不清楚Spark是否使用這個屬性。有沒有辦法檢查？

我問這是因爲我曾經拼錯「spark.serializer」，但仍然看到了屬性集。我希望看到一個錯誤，告訴我一個未知的屬性正試圖設置。

Answer 1

由於您已經測試過您是否拼錯了屬性名稱，因此它已被接受但未被使用。由於可能的屬性列表已打開，用戶可以設置其自己的屬性，並且可能未使用的屬性上的錯誤不是一個選項。