sequence-to-sequence

1熱度

2回答

使用CNTK通過在每個生成步驟採樣生成序列

在具有編碼器和解碼器的seq2seq模型中，在每個生成步驟，softmax層輸出整個詞彙表的分佈。在CNTK中，通過使用C.hardmax函數可以很容易地實現貪婪的解碼器。它看起來像這樣。 def create_model_greedy(s2smodel): # model used in (greedy) decoding (history is decoder's own outpu

python reinforcement-learning decoder cntk sequence-to-sequence 2017-08-14

---

7熱度

1回答

TypeError：無法在Seq2Seq中醃製_thread.lock對象

我在我的Tensorflow模型中使用存儲桶時遇到問題。當我用buckets = [(100, 100)]運行它時，它工作正常。當我用buckets = [(100, 100), (200, 200)]運行它時，它根本不起作用（底部堆棧跟蹤）。 有趣的是，運行Tensorflow的Seq2Seq教程給出了幾乎相同的堆棧跟蹤相同類型的問題。出於測試目的，到知識庫的鏈接是here。 我不確定這個問題是

python-3.x tensorflow nlp lstm sequence-to-sequence 2017-06-30

---

0熱度

1回答

語言模型的困惑度如何在0和1之間？

在Tensorflow中，我得到的輸出是0.602129或0.663941。看起來，接近於0的值意味着更好的模型，但似乎困惑應該被計算爲2 ^損失，這意味着損失是負的。這沒有任何意義。

python tensorflow language-model sequence-to-sequence perplexity 2017-07-02

---

1熱度

2回答

如何使用MultiRNNCell和dynamic_decode的注意力機制？

我想創建一個使用注意機制的多層動態RNN解碼器。要做到這一點，我首先要創建一個注意機制： attention_mechanism = BahdanauAttention(num_units=ATTENTION_UNITS, memory=encoder_outputs, normalize=True) 然後我用AttentionWrapp

tensorflow recurrent-neural-network sequence-to-sequence 2017-07-05

---

1熱度

1回答

如何在張量流中使用波束搜索解碼器中的調度採樣。

基本解碼器包含一個參數，用於添加輔助方法，該方法可以是一個時間表採樣助手。但波束搜索解碼不包含任何幫助參數。 雖然在代碼中它看起來像有一些採樣使用，但不清楚是否使用計劃採樣。 class BeamSearchDecoder（decoder.Decoder）： 「」「BeamSearch採樣解碼器。」「」 這將是很高興知道並明確表示我的疑問。 希望在這個問題上的任何光。 在此先感謝。

tensorflow sequence-to-sequence rnn beam-search 2017-07-12

---

1熱度

1回答

Tensorflow NotFoundError

我正在運行自定義代碼來訓練我自己的Seq2Seq模型的張量流。我正在使用multi-rnn單元格和embedding_attention_seq2seq。儘管恢復模型我得到以下錯誤： 2017-07-14 13:49:13.693612: W tensorflow/core/framework/op_kernel.cc:1158] Not found: Key embedding_attentio

python tensorflow sequence-to-sequence 2017-07-14

---

2熱度

1回答

如何修改Tensorflow Sequence2Sequence模型以實現雙向LSTM而不是單向模式？

請參考這個帖子就知道了問題的背景： Does the TensorFlow embedding_attention_seq2seq method implement a bidirectional RNN Encoder by default? 我在同一個模型工作，並希望與雙向層，以取代單向LSTM層。我意識到我必須使用static_bidirectional_rnn而不是static_rnn，但

tensorflow nlp lstm sequence-to-sequence attention-model 2017-07-14

---

0熱度

1回答

合成模型和平均模型有什麼區別？

在機器翻譯中，序列到序列模型變得非常流行。他們經常使用一些技巧來提高性能，例如集合或平均一組模型。這裏的邏輯是錯誤將會「平均」。 據我所知，平均值模型是簡單地取X模型參數的平均值，然後創建一個可用於解碼測試數據的單一模型。 合奏，然而平均每個模型輸出。這要花費更多的資源，因爲X模型必須提供輸出，而平均模型只能在測試數據上運行一次。 這裏的區別究竟是什麼？輸出如何不同？在我的測試中，兩種方法都比基線

machine-learning deep-learning machine-translation ensemble-learning sequence-to-sequence 2017-09-06

---

2熱度

1回答

在CNTK中執行Seq2Seq時出現多個軸問題

我試圖在CNTK中實現一個注意力集中的Seq2Seq模型，這與CNTK Tutorial 204非常相似。然而，一些小的差異導致了各種問題和錯誤信息，我不明白。這裏有很多問題，這些問題可能是相互關聯的，都來自我不理解的單一事物。 注意（萬一它很重要）。我的輸入數據來自MinibatchSourceFromData，由適合內存的NumPy數組創建，我沒有將它存儲在CTF中。 ins = C.sequ

python cntk sequence-to-sequence attention-model 2017-09-12

---

0熱度

1回答

基於谷歌TensorFlow seq2seq模型墜毀在訓練

我一直在嘗試使用谷歌的基於RNN seq2seq model. 我一直在訓練文摘模型，並在大約大小1GB的文本數據正在餵養。該模型很快填滿了我的整個RAM（8GB），開始填滿交換內存（進一步8GB）並崩潰後，我必須做一個硬關機。 我LSTM網絡的配置如下： model: AttentionSeq2Seq model_params: attention.class: seq2seq.de

tensorflow nlp lstm sequence-to-sequence 2017-06-19

---