情緒分析的培訓數據

Question

從哪裏可以獲得已在企業領域中被分類爲積極/消極情緒的文檔的語料庫？我想要一大批爲公司提供評論的文件集，比如分析師和媒體提供的公司評論。

我發現有產品和電影評論的語料庫。是否有商業領域的語料庫，包括與企業語言相匹配的公司評論？

Answer 1

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

您可以使用Twitter，與它的表情，就像這樣：http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

希望得到您開始。如果你對特定的子任務感興趣，比如否定，情感範圍等，

爲了把重點放在公司上，你可以將一種方法與主題檢測結合起來，或者便宜地提到很多提及一個給定的公司。或者您可以獲得Mechanical Turkers註釋的數據。

Answer 2

我不知道任何這樣的語料庫是免費提供的，但您可以在未標記的數據集上嘗試使用unsupervised method。

Answer 3

這裏有幾個;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 4

如果您對您要瀏覽的域的一些資源（媒體渠道，博客等），您可以創建自己的語料庫。 我這樣做在python：

• 用美麗的湯http://www.crummy.com/software/BeautifulSoup/解析，我要分類的內容。
• 將那些對公司有正面或負面意見的句子分開。
• 使用NLTK來處理這個句子，令牌化的話，詞性標註等
• 使用NLTK PMI來計算只有一個類的雙字母組或卦MOS頻繁

創建語料庫是預先的辛勤工作處理，檢查，標記等，但具有爲特定領域準備模型多次提高準確性的益處。如果你已經準備好語料庫，只需繼續進行情感分析;）

Answer 5

你可以從Datafiniti獲得大量的在線評論。大多數評論都帶有評分數據，這會提供比正面/反面更加細化的情緒。這是一個list of businesses with reviews，這裏是一個list of products with reviews。

Answer 6

這是我幾個星期前寫的一個清單，從my blog。其中一些數據集最近已被包含在NLTK Python平臺中。

辭書由劉兵

• 意見詞彙

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
  • 論文：Mining and summarizing customer reviews
  • 注意：包括在NLTK Python的平臺

• MPQA主體性詞彙

  • URL：http://mpqa.cs.pitt.edu/#subj_lexicon
  • 論文：Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis (Theresa Wilson, Janyce Wiebe, and Paul Hoffmann, 2005)。

• SentiWordNet

  • URL：http://sentiwordnet.isti.cnr.it
  • 注意：包括在NLTK Python的平臺

• 哈佛一般問詢

  • URL：http://www.wjh.harvard.edu/~inquirer
  • 論文：The General Inquirer: A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)

• 語言調查和字數（LIWC）

  • URL：http://www.liwc.net

• 維達詞彙

  • 網址：https://github.com/cjhutto/vaderSentiment，http://comp.social.gatech.edu/papers
  • 論文：Vader: A parsimonious rule-based model for sentiment analysis of social media text (Hutto, Gilbert. 2014)

---

數據集

• MPQA數據集

  • URL：http://mpqa.cs.pitt.edu

  • NOTES：GNU Public License。

    • 政治辯論數據
    • 產品辯論數據
    • 主體感註解

• Sentiment140（鳴叫）

  • URL：http://help.sentiment140.com/for-students
  • 論文：Twitter Sent classification using Distant Supervision (Go, Alec, Richa Bhayani, and Lei Huang)
  • 網址：http://help.sentiment140.com，https://groups.google.com/forum/#!forum/sentiment140

• STS-黃金（鳴叫）

  • URL：http://www.tweenator.com/index.php?page_id=13
  • 論文：Evaluation datasets for twitter sentiment analysis (Saif, Fernandez, He, Alani)
  • 注意：作爲Sentiment140，但該數據集較小，與人工註釋。它帶有3個文件：推文，實體（他們的情緒）和一個集合。

• 顧客評分數據集（產品評論）

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • 論文：Mining and summarizing customer reviews
  • 注意：的評論標題，產品FEA具有意見強度的正面/負面標籤，其他信息（比較，代詞解析等）。）

  包括在NLTK Python的平臺

• 優點和缺點數據集（利弊句子）

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • 論文： Mining Opinions in Comparative Sentences (Ganapathibhotla, Liu 2008)
  • 注意：句子的列表標記包括在NLTK Python的平臺<pros>或<cons>

• 比較句（評論）

  • URL ：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets個
  • PAPERS：Identifying Comparative Sentences in Text Documents (Nitin Jindal and Bing Liu)，Mining Opinion Features in Customer Reviews (Minqing Hu and Bing Liu)
  • NOTES：句子，POS標籤的句子，實體，比較類型（不相等，equative，最高級的，非可分級）

  包括在在NLTK Python的平臺

• 桑德斯分析Twitter的情緒語料庫（TWE ETS）

  • URL：http://www.sananalytics.com/lab/twitter-sentiment

  5513手分類鳴叫WRT 4個不同的主題。由於Twitter的ToS，包含一個小的Python腳本來下載所有的推文。情感分類本身是免費提供的，沒有任何限制。它們可能被用於商業產品。他們可能被重新分配。他們可能會被修改。

• 西班牙鳴叫（鳴叫）

  • URL：http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014（鳴叫）

  • URL：http://alt.qcri.org/semeval2014/task9

  您不得重新分配的鳴叫，註釋或獲得的語料庫（自述文件）

• 各種數據集（評論）

  • URL：https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
  • PAPERS：Building a General Purpose Cross-Domain Sentiment Mining Model (Whitehead and Yaeger)，Sentiment Mining Using Ensemble Classification Models (Whitehead and Yaeger)

• 各種數據集＃2（評價）

  • URL：http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

---

參考文獻：

• Keenformatics - Sentiment Analysis lexicons and datasets（我的博客）
• 個人經歷