2009-11-01 42 views
5

我正在研究一個將用於分類汽車照片的Web應用程序。用戶將看到各種車輛的照片,並會被要求回答關於他們看到的一系列問題。結果將被記錄到數據庫中,取平均值並顯示。算法評估用戶響應

我正在尋找算法來幫助我識別經常不與該羣組投票的用戶,這表明他們可能不注意照片,或者他們在說謊他們看到的東西。然後,我想排除這些用戶,並重新計算結果,以便我可以用已知的信心說,這張特定的照片顯示的是這樣一種車輛。

這個問題出現在所有你的計算機科學家,在哪裏可以找到這樣的算法,或給自己設計這樣的算法的理論背景。我假設我將不得不學習一些概率和靜態,也許一些數據挖掘。一些書的建議會很好。謝謝!

P.S.這些是多項選擇題。

所有這些都是很好的建議。謝謝!我希望有一種堆棧溢出的方式來選擇多個正確的答案,這樣你可以承認你的貢獻更多!

+0

問題是開放式還是多項選擇?他們是主觀的還是客觀的,通常只有一個正確答案? – 2009-11-01 19:55:45

+0

他們是多項選擇問題 – Ralph 2009-11-01 20:03:12

回答

0

如果你知道什麼答案你期待你爲什麼要人們投票?通過排除一些值,您基本上可以在之類的東西中投票。汽車給不同的人以不同的印象。如果100ppl愛一輛車,那麼當有人來到並說他/她不喜歡它時,你排除了投票?

但無論如何,考慮到你仍然想這樣做,首先你需要從「值得信賴」的選民那裏收集大量數據。這會給你一個「好」的答案,從這個角度你可以選擇排除閾值。

如果沒有初始數據集,您將無法應用任何算法,因爲您會得到錯誤的結果。從0到100的範圍內,只考慮一次100的投票。第二次投票是「1」您將排除此投票,因爲距離平均值太遠。

+1

從我所瞭解的情況來看,這更多是** outiler檢測**問題。 – Amro 2009-11-01 20:05:59

0

我認爲一個非常簡單的算法可以爲你做到這一點。你可以嘗試通過計算標準偏差等來獲得更多的信息,但我不會打擾。

這裏有一個簡單的辦法,應該是足夠了:

對於每一個用戶來說,他們計算選擇的問題最普遍的回答,他們回答問題的數量和次數。選擇最受歡迎答案的比例與可以猜測的總答案的比例最低的用戶提供虛假數據。

您可能不希望丟棄用戶的數據,他們只回答了少數問題,因爲他們可能只對少數幾個人提出異議而不願意提供虛假數據。

0

他們有什麼樣的問題(是/否,或1到10?)。

您可以通過使用均值而不是平均值來放棄任何東西。如果平均值在響應中存在極端異常值,它可能會影響平均值,但如果使用中值,則可能會得到更好的答案。例如,如果您有5個答案,請訂購併選擇中間的答案。

+2

平均值是一個平均值。你的意思是說「中位數而不是平均數」? – erickson 2009-11-01 20:15:07

+0

@erickson,是的,我的意思是中位數,對不起,謝謝你的更正 – Jeremy 2009-11-02 00:22:03

3

閱讀The Elements of Statistical Learning,這是一個很好的數據挖掘概要。

您可能特別關注無監督算法,例如聚類。假設大多數人不撒謊,最大的集羣是正確的,其餘是錯誤的。相應標記人員,然後應用一些貝葉斯統計數據,您就完成了。

當然,大多數的數據挖掘技術都非常具有實驗性,所以不要指望它們永遠是正確的......甚至在大多數情況下。

0

我認爲你所說的是你擔心某些人是「異常值」,並且他們正在給你的數據增加噪音,使分類變得不那麼可靠。所以,如果你有一輛雪佛蘭卡瑪洛,而大多數人都說它是一輛小馬車,一輛肌肉車或一輛跑車,但是你有一些說它是家庭轎車的故事,你會想盡量減少他的影響投票。

有一兩件事你可以做的是提供一個堆棧溢出類似信譽得分的用戶:

  • 越多,用戶是「同意」與其他用戶,更好的他或她的得分會。對於給定的用戶(用戶X),這可以通過簡單計算回答問題的用戶的百分比選擇與用戶X相同的類別,然後在回答的所有問題上平均該值來確定。
  • 您可能希望將此值乘以回答的問題總數,以鼓勵人們回答儘可能多的問題。 (注意:如果您選擇這樣做,這相當於只是將百分比協議分數相加,而不是平均分)。
  • 您可以向用戶展示最終信譽分數,確保解釋他們將獲得獎勵他們的反應與其他用戶的反應是否一致。這將鼓勵人們回答更多的問題,但也要照顧他們的答案。
  • 最後,您可以計算給定分類的確定性分數,方法是將選擇給定類別的所有人的總聲譽分數相加。

其中一些想法可能需要一些改進,特別是因爲我不知道您的具體情況。當然,如果人們可以看到其他人在選擇之前選擇了,他們就會投票,這對遊戲系統來說太簡單了。

+0

謝謝@DanThMan! – Ralph 2009-11-01 21:29:12

0

如果你要收集「從1到10的分數,你如何評價這輛車」的投票,你可能會使用簡單的平均值和標準偏差:標準差越小,您的選民之間的一般共識越一致,您可以標記例如平均3個標準開發者。

對於多項選擇,您需要更加小心。只是拋棄除最受贊成的選擇之外的所有選擇,都不會做任何事情,只會對選民產生不滿。你需要建立一個衡量贏家有多重要的衡量標準w.r.t.其他選項,例如標誌用戶投票選擇少於1/3的獲勝選項。

請注意,我寫了「國旗用戶」,不是棄票。如果你放棄選票,你不能說出你對結果的自信程度(「91%投票認爲這是一輛福特野馬」)。如果用戶的投票數超過一定比例 - 嗯,這取決於您。

然而,最棘手的問題可能是收集足夠的選票。根據多項選擇問題的容易程度,您可能需要多次選項數量作爲投票,每張照片。否則,統計數據是毫無意義的。