關於keras示例的疑問pretrained_word_embeddings

Question

我對Keras示例pretrained_word_embeddings有幾個疑問，以提高對其工作原理的理解程度。

1. 在這樣的模型中使用dropout層是否合理？

2. 最後MaxPooling1D層每次都要覆蓋所有的輸出形狀嗎？在原始模型中，最後的conv層輸出是35，我們將maxpool設置爲相同的35值。

3. 我說得對，如果增加值128（內核數）會提高準確度嗎？

4. 是否有意義增加額外的轉換層來提高準確度？即使它會減少模型訓練階段。

謝謝！

Answer 1

所以基本上有一個簡單的回答你的問題 - 你需要對其進行測試：

1. 添加dropout通常是一件好事。它介紹了合理數量的隨機化和正規化。缺點是您需要設置其參數的正確值 - 有時可能需要一段時間。
2. 在我看來 - 最後一個pooling層中的MaxPooling1D的值是以這種方式設置的，以便降低下一層輸入的維度。人們可以檢查，例如， （例如18）（這只是將輸入的大小增加到下一層的大小）可以引入任何改進。
3. 很難說 - 如果你有一個非常嚴格的結構的少量數據 - 很多參數可能嚴重損害您的訓練。最好的方法是測試網格或隨機搜索範例中的不同參數值。它被認爲random search做得更好:)