如何使用tensor2tensor分類文本？

Question

我想要使用tensor2tensor來進行二進制文本分類只有注意力和沒有LSTM或CNN預處理圖層。我認爲transformer_encoder模型對我來說是最好的，但是我找不到任何預先設定好的Problem或Hparams。任何人都可以給我一個使用tensor2tensor或其他建議的文本分類示例嗎？

Answer 1

我會建議跟隨他們sentiment_imdb問題，因爲情感分析是一種文本分類問題：

https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/imdb.py

他們也有對主要頁面上培養了transformer_encoder這個問題的簡短部分：

https://github.com/tensorflow/tensor2tensor#sentiment-analysis