AI回歸模型評(píng)估指標(biāo):MSE、RMSE、MAE、R2
怎么評(píng)估AI回歸模型的預(yù)測(cè)結(jié)果,計(jì)算回歸模型預(yù)測(cè)值與真實(shí)值之間的差距?這篇文章里,作者介紹了常見(jiàn)指標(biāo)的含義與計(jì)算方式,一起來(lái)看看吧。
上文介紹了如何利用混淆矩陣、KS和AUC等指標(biāo)來(lái)評(píng)估分類(lèi)模型的性能,今天我們來(lái)看一下如何評(píng)估回歸模型的預(yù)測(cè)結(jié)果。
不管是分類(lèi)模型還是回歸模型的評(píng)估,其本質(zhì)都是為了計(jì)算真實(shí)值和預(yù)測(cè)值之間的“差異”。
分類(lèi)模型的“差異”體現(xiàn)在分類(lèi)結(jié)果是否正確,而回歸模型的“差異”則體現(xiàn)在預(yù)測(cè)值與真實(shí)值有多大的差距。
那么如何計(jì)算回歸模型預(yù)測(cè)值與真實(shí)值的差距呢?常見(jiàn)的指標(biāo)有MSE、RMSE、MAE、R2,我們來(lái)看看它們的計(jì)算方法。
一、MSE、RMSE、MAE的含義和計(jì)算
我們以一個(gè)預(yù)測(cè)氣溫的回歸模型為例,模型計(jì)算出未來(lái)15天的氣溫(預(yù)測(cè)值),15天過(guò)后我們可以得到每天的實(shí)際氣溫(實(shí)際值),我們以此數(shù)據(jù)為基礎(chǔ),來(lái)計(jì)算該模型預(yù)測(cè)值與實(shí)際值的差異。
最直接的計(jì)算方式,就是計(jì)算每天氣溫的差值,并把差值相加即可。
但是有可能存在負(fù)數(shù)的差值,為避免正負(fù)數(shù)的差值互相抵消的情況,我們可以把每天的差值求平方之后,再相加,就可以得到一個(gè)表現(xiàn)差異的總數(shù)值。
因?yàn)樘鞌?shù)是不固定的,天數(shù)越多,總差異值肯定就越大,所以我們需要再除以天數(shù)(15天),以得到一個(gè)更加通用的評(píng)估指標(biāo)——MSE。
MSE(Mean Squared Error):均方誤差,就是求出每天真實(shí)值和預(yù)測(cè)值的差值平方,求和后再除以天數(shù)。
我們看到,MSE有一個(gè)求平方的過(guò)程,但是平方會(huì)導(dǎo)致誤差放大,并且使差值的量綱發(fā)生變化,為了統(tǒng)一量綱,我們?cè)賹?duì)MSE值求一個(gè)平方根,就是RMSE。
RMSE(Root Mean Squared Error):均方根誤差,是對(duì)MSE值求平方根之后的結(jié)果。
避免正負(fù)數(shù)的差值互相抵消的方式,除了平方之外,還可以求絕對(duì)值,我們將每天的差值求絕對(duì)值,再相加除以天數(shù),就是MAE指標(biāo)了。
MAE(Mean Absolute Error):平均絕對(duì)誤差,就是求出每天真實(shí)值和預(yù)測(cè)值差值的絕對(duì)值,求和后再除以天數(shù)。
整體來(lái)說(shuō),MSE會(huì)放大差異,更容易被發(fā)現(xiàn),適合在開(kāi)發(fā)過(guò)程中使用。MAE采用的是更簡(jiǎn)潔的計(jì)算,最接近真實(shí)的誤差值,常用來(lái)作為實(shí)際評(píng)估指標(biāo)。而RMSE經(jīng)過(guò)了平方再開(kāi)方,其數(shù)值會(huì)比MAE略大一點(diǎn)。
二、R2的含義和計(jì)算
我們已經(jīng)可以利用MSE等指標(biāo)計(jì)算模型預(yù)測(cè)值和實(shí)際值的差異了,看起來(lái)好像已經(jīng)夠用了,但是我們得到的是個(gè)數(shù)值,這個(gè)數(shù)可能是50、100,也可能是一萬(wàn)、八千,那么到底什么樣的數(shù)值才是合理的呢?
只看MSE等求和類(lèi)的指標(biāo)的話(huà),就顯得不夠直觀了,我們需要想辦法得到一個(gè)“系數(shù)”,來(lái)直觀的表達(dá)模型預(yù)測(cè)結(jié)果的好壞,這個(gè)系數(shù)就是R2。
R2(R Squared 決定系數(shù))= (TSS – RSS)/TSS,其中TSS為總離差平方和(實(shí)際值和實(shí)際值均值之間的差值平方和),RSS為殘差平方和(實(shí)際值和預(yù)測(cè)值之間的差值平方和)。
R2的值一般都在0-1的范圍內(nèi),越接近1,說(shuō)明模型預(yù)測(cè)效果越好。
當(dāng)然如果預(yù)測(cè)值非常離譜,導(dǎo)致RSS過(guò)大,超過(guò)TSS值的話(huà),R2也可能是負(fù)值,說(shuō)明模型預(yù)測(cè)效果非常差。
總結(jié)
本文我們介紹了回歸模型的評(píng)估指標(biāo),學(xué)習(xí)完這兩篇文章之后,我們就掌握了評(píng)估模型性能的基本方法。
下篇文章,我會(huì)再詳細(xì)介紹如何評(píng)估模型的穩(wěn)定性,敬請(qǐng)期待。
本文由 @AI小當(dāng)家 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自 Unsplash,基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
R2(R Squared 決定系數(shù))= (TSS – RSS)/TSS,其中TSS為總離差平方和(實(shí)際值和實(shí)際值均值之間的差值平方和),RSS為殘差平方和(實(shí)際值和預(yù)測(cè)值之間的差值平方和)
請(qǐng)問(wèn)這TSS中的實(shí)際值是指的某一天的實(shí)際值么?
對(duì),準(zhǔn)確的說(shuō)應(yīng)該是“每一天的實(shí)際值”和“所有天的實(shí)際值均值”之間的差值平方和
收到,感謝