recurrent-neural-network

    3熱度

    1回答

    我正在嘗試從Keras上的SimpleRNN上的文本進行訓練。 在Keras,我指定SimpleRNN一個非常簡單的參數如下: model = Sequential() model.add(SimpleRNN(output_dim=1, input_shape=(1,1,1)) 我明白,input_shape應該是(nb_samples,時間步長,input_dim),同爲我train_x.

    8熱度

    1回答

    是否有可能採取tf.scan操作的輸出並將其直接流式傳輸到不同的GPU,從而有效地在兩個GPU上並行運行兩個堆疊的RNN?事情是這樣的: cell1 = tf.nn.rnn_cell.MultiRNNCell(..) cell2 = tf.nn.rnn_cell.MultiRNNCell(..) with tf.device("/gpu:0"): ys1 = tf.scan(lam

    2熱度

    1回答

    我試圖在張量流中創建具有GRU單元(以及LSTM單元)的多層遞歸神經網絡。我看了多個來源,包括官方教程。但是我一直看到下面的多層RNN模式(這裏用GRU單元顯示)。 cell = GRUCell(num_neurons) # Or LSTMCell(num_neurons) cell = DropoutWrapper(cell, output_keep_prob=dropout) cell =

    1熱度

    1回答

    我在tensorflow上運行RNN,其中我的輸出是一個非常簡單的2向量數組。 RNN所要做的就是選擇一個值來使1和1變爲0.但是,當我通過RNN運行我的批處理時,我看起來對批處理的每個輸入都會得到相同的輸出。例如: 如果我的實際輸出標籤: [[ 1. 0.] [ 1. 0.] [ 0. 1.] [ 1. 0.] [ 1. 0.] [ 1. 0.] [ 1. 0.] [ 1. 0.]

    0熱度

    1回答

    我正在嘗試在火炬中實現RNN。爲了適應它,我開始了一個預測序列中下一個項目的簡單任務。序列是{1,2,3,4,5,6,7,8,9,10}的子序列,隨機選擇一個偏移量。 我想實現一個帶LSTM單元的隱藏層的網絡體系結構。這就是爲什麼我使用nn.SeqLSTM(inputsize,outputsize) rho = 5 -- number of steps for bptt hiddensize =

    3熱度

    1回答

    給定一個狀態向量,我們可以通過連續生成每個輸出來以貪婪的方式遞歸地解碼一個序列,其中每個預測以先前的輸出爲條件。我最近讀了一篇論文,描述了在光束大小爲1(k = 1)的解碼過程中使用波束搜索。如果我們只保留每一步的最佳輸出,是不是像貪婪解碼一樣,並且沒有提供波束搜索通常提供的好處?

    0熱度

    1回答

    TensorFlow提供以下功能來創建RNN:rnn(),dynamic_rnn(),state_saving_rnn()和bidirectional_rnn()。我想知道你什麼時候想要使用state_saving_rnn()函數? 我猜測這是針對大型RNN的。通過時間展開時,您可以獲得可能非常深的網絡,並且如果每個圖層都有很多參數,則GPU可能會耗盡內存。所以這個函數會保存每個時間步的狀態(可能

    2熱度

    2回答

    我正面臨着一個非常奇怪的問題,我正在使用tensorflow構建RNN模型,然後在完成訓練後使用tf.Saver存儲模型變量(全部)。 在測試過程中,我只是再次構建推理部分並將變量恢復到圖形。恢復部分不會給出任何錯誤。 但是當我開始測試評估測試時,我總是從推理得到相同的輸出,即對於所有測試輸入,我得到相同的輸出。 我在訓練過程中輸出了輸出,我確實看到不同的訓練樣本的輸出不同,成本也在下降。 但是當

    1熱度

    2回答

    下面的代碼片段給了我一些tensorType錯誤 類型錯誤:無法將類型TensorType(FLOAT32,3D )(將變量Subtensor {:int64:}。0)轉換爲Type TensorType(float32,(False,False,True))。您可以嘗試手動將Subtensor {:int64:}。0轉換爲TensorType(float32,(False,False,True)

    0熱度

    1回答

    人們有沒有想過構建NER模型來標記地址或時間表達式的文本序列? 有一個時間表達式的解析器,如「最後五天」,稱爲SUTime:http://nlp.stanford.edu/software/sutime.shtml。不幸的是,它是越野車,並建立了大規模的規則。 解析地址更加困難且容易出錯。 CoreNLP解析器無法解析簡單的事情,如Mountain View,CA. 我覺得應該有一種方法來訓練RN