2
在word嵌入中，start_tokens _PAD，_UNKNOWN，_GO，_EOS是什麼應該是一個好的向量表示？在發送到RNN之前應該將令牌<pad>,<unknown>,<go>,<EOS>的單詞向量發送給RNN？
A
回答
0
據我瞭解，你可以用任何矢量來表示這些標記。
這裏的原因：
輸入的字序列到模型，首先每個單詞轉換爲一個ID，然後看看你的埋設 - 矩陣向量對應於該ID。用那個矢量，你訓練你的模型。但嵌入矩陣只包含可訓練的權重，這些權重將在訓練期間進行調整。來自您的預訓練載體的矢量表徵只是一個很好的觀點，可以開始產生良好的結果。
因此，開頭的代表您的特殊代幣在訓練過程中會發生變化，這並不重要。
相關問題
- 1. 蟒蛇：</p> <p>在客戶端只發送前：
- 2. 發送清單<xmldocument>給wcf，該怎麼辦？
- 3. 如何發送響應我使用<code>fetch</code> API將數據發送到我的<code>POST</code>請求獲取API
- 4. 發送的ArrayList <String>到活動
- 5. 錯誤：預期之前 '<' 令牌
- 6. 安卓：Diffenece發送短信發送與</strong> & <strong>交付</strong>狀態SMS <strong>之間傳送的狀態
- 7. ContentResolver.requestSync <=發送附加到=> SyncAdapter.onPerformSync
- 8. 發送變量從<a>的JavaScript，從JavaScript到<form value>
- 9. 與發送列表<T>爲IEnumerable <T>的方法
- 10. 如何發送SslStream中的<ArraySegment <byte>>
- 11. DEBUG2：通道<x>：窗口<number>發送調整<number_2>
- 12. 如何禁用Esc + <KEY>發送Meta + <Key>？
- 13. lazy_high_chart：如何使用'<'運算符發送evenet而不是'<'
- 14. <c:forEach>和<h：commandLink>時無法發送PARAM起作用
- 15. 將arraylist <object>發送給android的其他活動
- 16. 發送的ArrayList <string>意圖
- 17. 遍歷向量<向量<對<int, int>>>
- 18. C++ - 錯誤：前預期主表達式 '<<' 令牌
- 19. 如何將QList <Object *>對象發送給另一個類？
- 20. 將令牌添加到<a href
- 21. 發送HTTP請求返回<>
- 22. 發送Java Map <Integer，String>與XBee
- 23. 發送ArrayList <GeoPoint> array putExtra方法
- 24. 如何發送<!--more-->博客API？
- 25. 發送ArrayList <> DataItem從移動穿
- 26. 用curl發送<input name =「array [key]」>？
- 27. <script></script>與json響應一起發送的代碼
- 28. 在Ubuntu中重定向器「<<<」？
- 29. - [UITableViewController中setManagedObjectContext：]：</p> <pre><code>controller.managedObjectContext = self.managedObjectContext; </code></pre> <p>的錯誤是：：發送到實例0x7490da0'
- 30. 如何發送ArrayList <hashmap <string，string >> value從fragmentactivity到listview的片段
非常模糊的問題。輸入向量和目標向量都來自一組文本。然後，RNN學習代表*出現*代表單詞和文本之間關係的隱藏層的權重。 RNN的輸入向量通常是由[TF * IDF]（https://en.wikipedia.org/wiki/Tf%E2%80%93idf）或單詞詞彙加權的單詞 - 文檔共現矩陣共生矩陣（鄰居）。 – gerowam
如果您已經從google預訓練word2vec模型，並且您不想再次訓練嵌入，應該使用什麼向量。它應該是僅僅是零的矢量還是不同的東西？ – Cospel