如何計算失敗驗收率和錯誤識別率？

Question

如何計算認證設備的FAR和FRR？ （我假設使用生物識別技術）。否則，他們是否可以輕鬆訪問該主題的統計數據？

Answer 1

FAR和FRR總是按特定人羣計算的。這是使用FAR和FRR來衡量績效的不利之處之一，除非您有一致的人口比較。例如，如果我的人口由我和另外兩個人組成，那麼我接受錯誤接受的機率非常低，可能爲0％，我的錯誤拒絕率很低，前提是我能夠可靠地捕獲可用樣本將會很低，可能爲0％，如果沒有數據庫大小的話，這將是非常令人印象深刻的。

爲了準確地測試系統，我建議您找出該特定類型的身份驗證標準。例如，在指紋匹配中，NIST擁有一個用於測量不同算法的圖像數據庫。有很多算法都是針對該數據庫進行測量的，因此您會將蘋果與蘋果進行比較。如果你在算法中沒有相同的數據庫，那麼如果有意義的話，你會比較蘋果和橙子。

Answer 2

生物識別系統可以在兩種模式下工作，在評估過程中必須區分這些模式：驗證和識別。

在驗證模式下，用戶出示他的身份，生物識別設備驗證身份是否匹配（想象你去海關，並且用面部圖像呈現您的身份證，主管會根據身份證驗證您的真實面部和圖像） 。

在身份識別模式中，在開始時不會對身份進行假設，並且必須與所有模板進行比較（例如，殺手將他的指紋留在犯罪現場，然後警察用他的指紋識別出他 - 沒有假設它們只是使用獲得的指紋，並將它們與其數據庫中的所有指紋進行比較）。

因此有必要區分這兩種情況，因爲識別通常要求更高。

假設您正在評估驗證生物識別系統的模式。 想象一下，一個生物識別系統，它將所有認證嘗試都從區間[0,1]分配給一個分數。 0表示不匹配，1表示完全匹配。顯然，如果您將閾值設置爲0，則所有真實用戶都可以入場，但所有騙子也都可以入場。另一方面，如果您將閾值設置爲1，則不允許任何人入場。因此，對於實際使用情況，通常在兩者之間設置閾值。這可能會導致並非所有的真實用戶都被接納，並且有些騙子被接納。如您所見，有兩種錯誤率：FAR（False Accept Rate）和FRR（False Reject Rate）。

FAR計算爲冒充者分數超過閾值的一小部分。

FRR計算爲真正分數下降到低於您的閾值的一小部分。

例如：我們有一個指紋系統。爲了評估任何生物識別系統的性能，我們需要收集一個數據庫。假設我們已經完成了這個工作，數據庫由10個合法用戶（USER_1-USER_10）組成，每個用戶提供10次手指（總共10x10 = 100張圖片）。讓我們假設，單個圖像足以創建模板。您選擇一個用戶（例如USER_1）和一個他的指紋圖像並創建模板。他用來驗證指紋的其餘部分圖像可以獲得9個真正的分數。您用作冒名頂替者的其他用戶的所有圖片，您將獲得90個冒名頂替者分數。您爲所有圖像和所有用戶重複模板生成，並且總共可以獲得900個真實分數和9000個冒名頂替者分數。 這些分數通常用於生成所謂的ROC曲線來選擇最佳閾值來檢查您的問題。如果您選擇了閾值，則可以使用上述定義來計算FAR和FRR。假設我們已經選擇了閾值0.7，並且100個冒充者的分數超過了閾值，並且50個真實的分數低於閾值。

到目前爲止= 1.1％，FRR = 5.6％。