我們用一個問卷來評估學生的知識水平(我們手工完成,就像在試卷中一樣)。它由以下幾部分組成:如何獲得一個句子的上下文?
- 選擇題
- 理解題(即:一隻蜘蛛昆蟲?)
現在我已經拿到了任務,使專家系統,將自動執行此操作。所以基本上我們有一個適當的答案。但我的問題是「理解問題」。我需要將他們的答案的背景與正確答案的背景進行比較。
我已經開始尋找答案,但它似乎是一個很大的任務。我目前搜索的是我可以通過NLP來實現,這對我而言真的很新穎。另外,如果我沒有弄錯,似乎我必須找到一份檢查員可以回答的所有單詞的字典。
我在正確的軌道上嗎?如果不是,請建議我該怎麼做(研究什麼?)或給我一些我需要的材料的鏈接。另外,我應該製作自己的字典嗎?因爲我將使用的詞語是菲律賓語。
更新:理解問題
問卷的理解部分包含一個段落解釋有一定的場景。問題很簡單。這裏是一個例子:
邦妮的叔叔告訴她摘下樹上的蘋果。拿起一根棍子,她戳了一下果實,結果他們會掉下來。在這樣做的過程中,一陣強風吹襲了。由於擔心水果落在頭頂,她停止了自己的工作。然而,在這之後,她注意到風引起了蘋果從樹上掉下來。這些落下的蘋果是她帶回家的叔叔。
的問題是:
- 什麼邦妮的叔叔告訴她做什麼?
- 是什麼導致邦妮停止從樹上採摘蘋果?
- Bonnie是一位不錯的水果採摘員嗎?請解釋你的答案。
可能的答案,答案主要國家有:
對於數1:
1.1邦妮的叔叔告訴她從樹上摘蘋果
1.2獲取蘋果
對於2號:
2.1一陣強風吹起來
2.2她可能會被水果打在頭上
對於數3:
3.1沒有,因爲她得到了蘋果已經在地面上
3.2沒有,因爲風是什麼原因導致果實落下
3.3是的,因爲它是很難挑選水果時颳風。
3.4是的,因爲至少她試過
現在有答案給了我。系統應該能夠做的工作是將學生答案的背景與正確答案的背景進行比較,以便系統能夠成功地對學生的答案進行評分。
請問您能否解釋'理解'部分?什麼是一些樣本問題?有什麼類型的問題? – Harry
我想如果你有問題只會引出像'不,蜘蛛不是蜘蛛'的答案;您可能能夠獲得相當不錯的準確率。答案有多複雜? –
使這項工作最好的方法是以這樣一種方式提問您的問題,只有非常有限的答案範圍纔是正確的。這會將可能的正確單詞的數量限制在可管理的範圍內。管理自由文本答案的部分問題是,如果要求檢查它,您將只能分配一個人類審查員通過該問題的概率。較短的答案更容易檢查,發生概率更高 –