language-model

    0熱度

    1回答

    我嘗試使用示例LSTM,根據Tensorflow LSTM example進行了培訓。這個例子可以讓整個測試集都很困惑。但我需要使用訓練好的模型分別對每個句子進行評分(得到loglikes)(評分STT解碼器輸出的假設)。我修改reader一點,並使用代碼: mtests=list() with tf.name_scope("Test"): for test_data_item i

    0熱度

    1回答

    我在Python中加載了一個大的word2vec語言模型。每次運行程序時,我都需要將模型加載到內存中。 我使用shell腳本中的不同命令行參數運行相同的程序,例如, #!/bin/bash python processor.py -ad python processor.py -td python processor.py -ds 有什麼我可以做的,讓語言模型在內存中的程序完成後運行,或

    1熱度

    1回答

    我想用gensim word2vec模型獲得最可能的單詞序列。我發現了一個預訓練的模型,它提供了以下文件: word2vec.bin word2vec.bin.syn0.npy word2vec.bin.syn1neg.npy 這是我的代碼試圖讓句子的概率有這位模特: model = model.wv.load(word_embedding_model_path) model.hs =

    0熱度

    1回答

    如何在張量流語音識別架構中集成語言模型? 在Tensorflow中有很多用於構建字符級語音識別的示例(例如https://github.com/nervanasystems/neon,https://github.com/buriburisuri/speech-to-text-wavenet),除非集成了語言模型,這很有趣但實際上沒用。我找不到使用語言模型的示例。 如何整合語言模型?

    -1熱度

    1回答

    我一直在使用PocketSphinx製作自然語言的語音識別器。我不想使用語法,而是使用語言模型。 我可以在網上找到任何已經完成的東西嗎? 每個人都在鏈接this page,但它只包含聲學模型,我正在尋找帶有統計語言模型的.dmp或ARPA文件。 我可以自己做,但這是一段時間,我不相信沒有什麼可以下載的英語語言。

    -5熱度

    1回答

    我可以在python中做這樣的事嗎? 我有3句: I like cats. I like cats I like cats ,則有可能當我給我喜歡,該腳本返回貓? 有人可以給我建議/工具或一些例子嗎?

    4熱度

    1回答

    我是在Keras RNN結構中實現語言模型的新手。我有具有以下統計離散的話(而不是從一個段落)的數據集, 總字樣本:1953 明顯不同的字符的總數:33(包括開始,結束和*)一句話 最大長度(字符數)爲10 現在,我想建立一個模型,將接受一個字符和單詞預測下一個字符。我填充了所有單詞,以便它們具有相同的長度。所以我的輸入是Word_input形狀1953 x 9和目標是1953 x 9 x 33。

    0熱度

    1回答

    受Andrej Karpathy Char-RNN啓發,char-rnn sherjilozair/char-rnn-tensorflow: Multi-layer Recurrent Neural Networks (LSTM, RNN) for character-level language models in Python using Tensorflow有一個Tensorflow實現。我

    0熱度

    1回答

    在Tensorflow中,我得到的輸出是0.602129或0.663941。看起來,接近於0的值意味着更好的模型,但似乎困惑應該被計算爲2 ^損失,這意味着損失是負的。這沒有任何意義。

    0熱度

    1回答

    因此,爲了構建語言模型,排在詞彙大小之外的不太常見的單詞被替換爲「UNK」。 我的問題是,如何評估這種評估基於'UNK'的概率的語言模型?假設我們要評估測試集上這種語言模型的困惑性,對於模型未知的單詞,我們得到的概率是基於未知單詞的「包」評估的。 這似乎是有問題的,因爲如果我們設置的詞彙量爲1,即所有的話都是未知的,那麼這可以,什麼都不做的語言模型的困惑將是1