在構(gòu)建AI模型的過(guò)程中，需要處理很多模型和算法。之前我們介紹了如何評(píng)估分類模型和回歸模型的性能，這篇文章，我們介紹一下常用的模型穩(wěn)定性指標(biāo)———客群穩(wěn)定性指標(biāo)（PSI）。

前面兩篇文章分別介紹了如何評(píng)估分類模型和回歸模型的性能。

模型上線前的評(píng)估，除了前文提到的模型性能之外，還需要考慮模型的穩(wěn)定性，只有穩(wěn)定性足夠好的模型才能達(dá)到上線的標(biāo)準(zhǔn)。

本文就來(lái)介紹一下常用的模型穩(wěn)定性指標(biāo)———客群穩(wěn)定性指標(biāo)（PSI）。

一、什么是PSI？

模型構(gòu)建時(shí)，我們以歷史數(shù)據(jù)作為樣本，以歷史數(shù)據(jù)的表現(xiàn)作為模型評(píng)估的依據(jù)。

但實(shí)際上，由于客群變化（不同時(shí)間段給到模型的樣本數(shù)據(jù)會(huì)有變化）或數(shù)據(jù)源采集變化等因素影響，實(shí)際樣本分布也會(huì)不可避免的發(fā)生偏移，從而導(dǎo)致模型不穩(wěn)定。

如果模型不穩(wěn)定，那么我們根據(jù)歷史數(shù)據(jù)樣本得到的“合適”閾值，去給實(shí)際數(shù)據(jù)樣本做評(píng)判，就會(huì)直接影響模型結(jié)果的合理性。

所謂PSI指標(biāo)就是客群穩(wěn)定性指標(biāo)（Population Stability Index），通過(guò)該指標(biāo)，可以得到不同時(shí)間段的樣本下，模型在各分?jǐn)?shù)段分布的穩(wěn)定性。

二、如何計(jì)算PSI？

我們先來(lái)看一下PSI的計(jì)算公式：

PSI（Population Stability Index）= SUM((實(shí)際占比-預(yù)期占比) * ln(實(shí)際占比/預(yù)期占比))

從公式中可以看到，想要計(jì)算穩(wěn)定性，就需要有一個(gè)基準(zhǔn)數(shù)據(jù)（預(yù)期占比）作為參照，然后用實(shí)際數(shù)據(jù)和基準(zhǔn)數(shù)據(jù)就可以計(jì)算PSI值。

計(jì)算PSI值一般分為以下三步：

1. 分箱：分別將模型輸出的預(yù)期分布和實(shí)際分布進(jìn)行分箱操作。有等頻分箱和等距分箱兩種方式。
2. 計(jì)算分布：分別計(jì)算落在各區(qū)間的人數(shù)占比，分別得到每個(gè)區(qū)間的預(yù)期占比和時(shí)機(jī)占比數(shù)值。
3. 計(jì)算PSI值：根據(jù)公式 (實(shí)際占比-預(yù)期占比) * ln(實(shí)際占比/預(yù)期占比) 計(jì)算每個(gè)區(qū)間的PSI值，再求和，就可以得到最終的PSI值。

三、判斷標(biāo)準(zhǔn)

PSI表示的是實(shí)際占比和預(yù)期占比之間的差距，所以PSI值越小，說(shuō)明實(shí)際占比和預(yù)期占比的差異也比較小，代表模型越穩(wěn)定。

我們一般會(huì)這么定義模型的穩(wěn)定性：

• 若PSI<0.1，穩(wěn)定性良好，說(shuō)明樣本分布僅有微小變化，模型很穩(wěn)定；
• 若PSI在0.1~0.25之間，穩(wěn)定性一般，說(shuō)明樣本分布有變化，需要根據(jù)實(shí)際情況調(diào)整評(píng)分切點(diǎn)或調(diào)整模型；
• 若PSI>0.25，穩(wěn)定性較差，說(shuō)明樣本分布有顯著變化，模型不穩(wěn)定，必須調(diào)整模型。

四、局限性

但是我們也不能迷信PSI指標(biāo)，PSI只是一個(gè)粗糙的指標(biāo)，有它的局限性，嚴(yán)重受制于數(shù)據(jù)質(zhì)量、樣本代表性和分檔數(shù)量。

• 數(shù)據(jù)質(zhì)量：當(dāng)PSI指標(biāo)表明模型不穩(wěn)定時(shí)，首先要確定數(shù)據(jù)是否存在問(wèn)題，比如數(shù)據(jù)是否正常提供、接口是否正常工作、網(wǎng)關(guān)數(shù)據(jù)傳輸過(guò)程是否正常、加工過(guò)程是否遭到數(shù)據(jù)污染或邏輯上有疏忽遺漏等。
• 樣本代表性：既要確保選取的樣本數(shù)量足夠反應(yīng)總體數(shù)據(jù)的信息，又要確保選取的樣本結(jié)構(gòu)和總體數(shù)據(jù)的結(jié)構(gòu)一致（分層抽樣）
• 分檔數(shù)量和方式：不同的分組數(shù)和分組方式也會(huì)對(duì)PSI值有小幅的影響

五、總結(jié)

本文我們介紹了如何使用PSI指標(biāo)評(píng)估模型的穩(wěn)定性，模型穩(wěn)定性是判斷模型是否可用的一個(gè)非常重要的條件，雖然我們實(shí)際上不需要手動(dòng)計(jì)算PSI值，但通過(guò)計(jì)算過(guò)程我們可以更深入的理解其原理。

至此，我們用三篇文章分別講述了分類模型性能評(píng)估、回歸模型性能評(píng)估和模型穩(wěn)定評(píng)估的指標(biāo)和計(jì)算方法，希望對(duì)大家有所幫助。

接下來(lái)，我們開(kāi)始進(jìn)入AI算法大篇章的學(xué)習(xí)，由于計(jì)劃分享的算法較多，我會(huì)在算法篇適當(dāng)增加更新的頻率，爭(zhēng)取在一個(gè)月內(nèi)完成算法相關(guān)的文章，敬請(qǐng)期待。