AI人工智能 分類器的性能

在實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法之后，我們需要找出模型的有效性。 衡量有效性的標(biāo)準(zhǔn)可以基于數(shù)據(jù)集和度量標(biāo)準(zhǔn)。 為了評(píng)估不同的機(jī)器學(xué)習(xí)算法，我們可以使用不同的性能指標(biāo)。 例如，假設(shè)使用分類器來區(qū)分不同對(duì)象的圖像，可以使用分類性能指標(biāo)，如平均準(zhǔn)確率，AUC 等。從某種意義上說，我們選擇評(píng)估機(jī)器學(xué)習(xí)模型的指標(biāo)是非常重要的，因?yàn)橹笜?biāo)的選擇會(huì)影響機(jī)器學(xué)習(xí)算法的性能如何被測量和比較。 以下是一些指標(biāo) -

混亂矩陣

基本上它用于輸出可以是兩種或更多種類的分類問題。 這是衡量分類器性能的最簡單方法。 混淆矩陣基本上是一個(gè)包含兩個(gè)維度即“實(shí)際”和“預(yù)測”的表格。 這兩個(gè)維度都有“真正的正面(TP)”，“真正的負(fù)面(TN)”，“錯(cuò)誤的正面(FP)”，“錯(cuò)誤的否定(FN)”。

在上面的混淆矩陣中，1表示正類，0表示負(fù)類。 以下是與混淆矩陣相關(guān)的術(shù)語 -

• 真正 - 當(dāng)實(shí)際的數(shù)據(jù)點(diǎn)類別為 1 并且預(yù)測也為 1 時(shí)，TP 就是這種情況。
• 真負(fù) - 當(dāng)數(shù)據(jù)點(diǎn)的實(shí)際類別為 0 并且預(yù)測也為 0 時(shí)，TN 就是這種情況。
• 假正 - 當(dāng)實(shí)際的數(shù)據(jù)點(diǎn)類別為 0 并且預(yù)測也為 1 時(shí)，F(xiàn)P 就是這種情況。
• 假負(fù) - FN 是數(shù)據(jù)點(diǎn)的實(shí)際類別為 1 且預(yù)測也為 0的情況。

準(zhǔn)確性

混淆矩陣本身并不是一個(gè)性能指標(biāo)，但幾乎所有的性能矩陣均基于混淆矩陣。 其中之一是準(zhǔn)確性。 在分類問題中，它可能被定義為由模型對(duì)各種預(yù)測所做的正確預(yù)測的數(shù)量。 計(jì)算準(zhǔn)確度的公式如下 -

精確 它主要用于文件檢索。 它可能被定義為返回的文件有多少是正確的。 以下是計(jì)算精度的公式 -

召回或靈敏度 它可能被定義為模型返回的正數(shù)有多少。 以下是計(jì)算模型召回/靈敏度的公式 -

特異性 它可以定義為模型返回的負(fù)數(shù)有多少。 這與召回完全相反。 以下是計(jì)算模型特異性的公式 -