attention-model

0熱度

1回答

在解碼過程中用TensorFlow的seq2seq示例代碼提取注意矩陣

似乎用於在示例TensorFlow代碼中爲sequence-to-sequence代碼計算seq2seq_model.py代碼中用於計算注意掩碼的attention（）方法不會在調用期間解碼。 有誰知道如何解決這個問題？在這裏提出了一個類似的問題：Visualizing attention activation in Tensorflow，但我不清楚如何在解碼期間獲得矩陣。 謝謝！

python tensorflow sequence-to-sequence attention-model 2016-12-19

---

0熱度

1回答

在keras後端乘以不同形狀的矩陣與其他矩陣

我試圖實現基於this model 的關注模型，但我希望我的模型不只是看一幀來決定該幀的注意力，我想要一個模型將嘗試關注整個序列的幀。所以我在做什麼被乘以一序列矢量，這是一個LSTM的輸出每個幀（return_sequence =假） 這些是改性的功能： def build(self, input_shape): self.W = self.add_weight((input_shap

deep-learning keras attention-model 2017-04-04

---

-1熱度

1回答

添加softmax顯着改變重量更新

我有一個形式爲N = W1 * Tanh(W2 * I)的神經網絡，其中I是輸入矢量/矩陣。當我學習這些權重時，輸出具有某種形式。然而，當我添加一個標準化層時，例如，N' = Softmax(W1 * Tanh(W2 * I))然而在N'單個元素的輸出向量中接近1而其餘幾乎爲零。這種情況不僅在SoftMax（）中，而且在任何標準化層中。有沒有解決這個問題的標準方案？

neural-network deep-learning softmax attention-model 2017-10-21

---

2熱度

1回答

如何修改Tensorflow Sequence2Sequence模型以實現雙向LSTM而不是單向模式？

請參考這個帖子就知道了問題的背景： Does the TensorFlow embedding_attention_seq2seq method implement a bidirectional RNN Encoder by default? 我在同一個模型工作，並希望與雙向層，以取代單向LSTM層。我意識到我必須使用static_bidirectional_rnn而不是static_rnn，但

tensorflow nlp lstm sequence-to-sequence attention-model 2017-07-14

---

8熱度

1回答

可視化的關注激活Tensorflow

有沒有辦法想象的一樣在上面的鏈接數字輸入的一些注意權重（從Bahdanau等，2014），在TensorFlow的seq2seq模式？我發現TensorFlow's github issue關於這個，但我無法找到如何在會話期間獲取注意掩碼。

tensorflow deep-learning attention-model sequence-to-sequence 2016-11-15

---

2熱度

1回答

在CNTK中執行Seq2Seq時出現多個軸問題

我試圖在CNTK中實現一個注意力集中的Seq2Seq模型，這與CNTK Tutorial 204非常相似。然而，一些小的差異導致了各種問題和錯誤信息，我不明白。這裏有很多問題，這些問題可能是相互關聯的，都來自我不理解的單一事物。 注意（萬一它很重要）。我的輸入數據來自MinibatchSourceFromData，由適合內存的NumPy數組創建，我沒有將它存儲在CTF中。 ins = C.sequ

python cntk sequence-to-sequence attention-model 2017-09-12

---

0熱度

1回答

訓練方法seq2seq模型的選擇

您可能會推薦什麼樣的訓練方法來訓練基於注意力的序列來排序神經機器翻譯模型？ SGD，Adadelta，Adam還是更好的？請給點建議，謝謝。

deep-learning sequence-to-sequence attention-model 2017-04-20

---