版本空間中的假設總數

Question

我對機器學習有疑問。

在看到任何訓練示例之前版本空間的大小是多少。考慮我有10個屬性，並且我正在使用約束的聯合作爲表示。屬性有兩個值，分別是'yes'或'no'。

Answer 1

如果您有K個類別，那麼版本空間就是將所有可能的attirbute值分解爲K個不相交子集的可能數目。

你的情況：

• 10屬性，每個屬性
• 2個可能值
• 有2^10 = 1024個可能的
• 有K^1024個可能的假設（你能想到點關於它們，用K值之一標記每個點）。

例如，對於二進制情況K = 2，我們在版本空間中有2^1024個假設。

如果您僅考慮可能假設的子集（通過對它們的表示施加一些限制）而不是這個數字更小，但實際數量的分析需要深入探討「表達性」是如何受限制的假設的細節。