2013-08-17 37 views
3

我們用一個問卷來評估學生的知識水平(我們手工完成,就像在試卷中一樣)。它由以下幾部分組成:如何獲得一個句子的上下文?

  1. 選擇題
  2. 理解題(即:一隻蜘蛛昆蟲?)

現在我已經拿到了任務,使專家系統,將自動執行此操作。所以基本上我們有一個適當的答案。但我的問題是「理解問題」。我需要將他們的答案的背景與正確答案的背景進行比較。

我已經開始尋找答案,但它似乎是一個很大的任務。我目前搜索的是我可以通過NLP來實現,這對我而言真的很新穎。另外,如果我沒有弄錯,似乎我必須找到一份檢查員可以回答的所有單詞的字典。

我在正確的軌道上嗎?如果不是,請建議我該怎麼做(研究什麼?)或給我一些我需要的材料的鏈接。另外,我應該製作自己的字典嗎?因爲我將使用的詞語是菲律賓語。

更新:理解問題

問卷的理解部分包含一個段落解釋有一定的場景。問題很簡單。這裏是一個例子:

邦妮的叔叔告訴她摘下樹上的蘋果。拿起一根棍子,她戳了一下果實,結果他們會掉下來。在這樣做的過程中,一陣強風吹襲了。由於擔心水果落在頭頂,她停止了自己的工作。然而,在這之後,她注意到風引起了蘋果從樹上掉下來。這些落下的蘋果是她帶回家的叔叔。

的問題是:

  1. 什麼邦妮的叔叔告訴她做什麼?
  2. 是什麼導致邦妮停止從樹上採摘蘋果?
  3. Bonnie是一位不錯的水果採摘員嗎?請解釋你的答案。

可能的答案,答案主要國家有:

對於數1:
1.1邦妮的叔叔告訴她從樹上摘蘋果
1.2獲取蘋果

對於2號:
2.1一陣強風吹起來
2.2她可能會被水果打在頭上

對於數3:
3.1沒有,因爲她得到了蘋果已經在地面上
3.2沒有,因爲風是什麼原因導致果實落下
3.3是的,因爲它是很難挑選水果時颳風。
3.4是的,因爲至少她試過

現在有答案給了我。系統應該能夠做的工作是將學生答案的背景與正確答案的背景進行比較,以便系統能夠成功地對學生的答案進行評分。

+0

請問您能否解釋'理解'部分?什麼是一些樣本問題?有什麼類型的問題? – Harry

+0

我想如果你有問題只會引出像'不,蜘蛛不是蜘蛛'的答案;您可能能夠獲得相當不錯的準確率。答案有多複雜? –

+0

使這項工作最好的方法是以這樣一種方式提問您的問題,只有非常有限的答案範圍纔是正確的。這會將可能的正確單詞的數量限制在可管理的範圍內。管理自由文本答案的部分問題是,如果要求檢查它,您將只能分配一個人類審查員通過該問題的概率。較短的答案更容易檢查,發生概率更高 –

回答

0

我能想到的一個簡單的方法就是使用像cosine或jaccard這樣的字符串相似性度量來確定某些關鍵字是否出現在測試答案和已知的正確答案中。 使用NLP可以使用part of speech tagging自動提取這些關鍵字。例如,你可以提取所有名詞(也可能是動詞)。然後,將每個答案表示爲關鍵詞的向量,您可以將測試向量與已知的正確向量進行比較。

例如,在第二個問題,對於兩個可能的答案的載體可以是

  1. 陣風,風,吹
  2. 擊中,頭部,水果

一樣的回答「她拿起一根棍子「的關鍵詞:摘下來,與」怕水果掉在她頭上「這樣的東西相比,棍子的分數會很低,而關鍵詞是:水果,落下,頭部。

注:

  1. 這隻能檢測出完全錯誤的答案。包含正確關鍵字的錯誤答案不會被這種技術檢測到。 :)
  2. 我不確定非英語句子。如果是這樣的話,您可能希望將答案中的每個單詞都作爲關鍵字(刪除停用詞)。 This問題也可能有幫助。
+0

嗯..這是一個很好的方法..但有沒有其他方法可以做到這一點沒有風險?開發和研究時間僅爲4個月。 – newbie

相關問題