編輯導(dǎo)語(yǔ)：評(píng)分模型的性能穩(wěn)定是很重要的，那什么樣的模型才算表現(xiàn)穩(wěn)定的模型呢？如何確信模型穩(wěn)定性是否發(fā)生了變化？什么原因?qū)е履Ｐ偷男阅懿环€(wěn)定？如果模型不穩(wěn)定了該采取什么措施？帶著這四個(gè)疑問(wèn)，我們一起來(lái)看本文作者的解答。

對(duì)風(fēng)控模型分類(lèi)能力強(qiáng)弱的評(píng)估有一個(gè)前提條件，那就是風(fēng)控模型的性能是穩(wěn)定的，脫離了這個(gè)前提條件，分類(lèi)能力再?gòu)?qiáng)的風(fēng)控模型實(shí)用性也不高。

既然穩(wěn)定性非常重要，那么什么樣的模型才算表現(xiàn)穩(wěn)定的模型？如何衡量模型的穩(wěn)定性呢？影響模型穩(wěn)定性的因素有哪些呢？如果模型不穩(wěn)定了該采取什么措施呢？

本文帶大家一探究竟！

一、什么樣的模型才算表現(xiàn)穩(wěn)定的模型？

模型穩(wěn)定性高是指模型的預(yù)測(cè)能力在時(shí)間維度上是一致的，即模型在測(cè)試集、時(shí)間外樣本集、線(xiàn)上測(cè)試和正式使用的時(shí)候有同樣的區(qū)分度；而模型預(yù)測(cè)能力不穩(wěn)定的直觀表現(xiàn)是原本評(píng)分為500分的客戶(hù)大概率是個(gè)好。

二、如何確信模型穩(wěn)定性是否發(fā)生了變化？

實(shí)踐中常用PSI指標(biāo)衡量模型的穩(wěn)定性，PSI指標(biāo)是指群體穩(wěn)定性指數(shù)（Population Stability Index），PSI反映了不同樣本在各分?jǐn)?shù)段的分布的穩(wěn)定性。

PSI的計(jì)算公式如下：

其中：A表示實(shí)際樣本，E表示預(yù)期樣本。

公式的意思是分別計(jì)算每一分箱內(nèi)的實(shí)際樣本占比減預(yù)期樣本占比之差和實(shí)際樣本占比除以預(yù)期樣本占比的對(duì)數(shù)的乘積，然后將每個(gè)分箱內(nèi)的這個(gè)乘積求和，這個(gè)求和值就是PSI。

下表表示PSI值的變動(dòng)范圍所代表的意義：

需要注意的是，PSI指標(biāo)變化只反映兩類(lèi)群體變化大小，但不反映變化的方向。

下面以案例說(shuō)明PSI的計(jì)算方式（數(shù)據(jù)不代表實(shí)際意義）：

我們將評(píng)分卡開(kāi)發(fā)時(shí)的樣本和當(dāng)前的樣本進(jìn)行比對(duì)，用同一個(gè)模型對(duì)兩個(gè)樣本打分后按照信用評(píng)分升序排序，并進(jìn)行等寬分箱[1]，即每個(gè)箱內(nèi)（或分?jǐn)?shù)區(qū)間）的信用評(píng)分差都相同；然后計(jì)算每個(gè)箱子內(nèi)的實(shí)際樣本[2]占全部實(shí)際樣本的比例，并列入實(shí)際樣本占比列。

預(yù)期樣本[3]按照同樣的模型預(yù)測(cè)信用評(píng)分后升序排序，并按照相同的分?jǐn)?shù)區(qū)間計(jì)算每個(gè)分箱內(nèi)的預(yù)期樣本占全部實(shí)際樣本的比例。

[1]在做模型排序能力表的時(shí)候用的是等頻分箱，與這邊的等寬分箱不同。

[2]這里的實(shí)際樣本用的是模型開(kāi)發(fā)時(shí)候訓(xùn)練集中壞樣本的數(shù)據(jù)。

[3]這里的預(yù)期樣本用的是當(dāng)前壞樣本的數(shù)據(jù)。

我們將預(yù)期樣本占比列與實(shí)際樣本占比列兩列數(shù)據(jù)做對(duì)比柱狀圖（見(jiàn)下圖）：

我們看到兩個(gè)分布的PSI值達(dá)到0.256,超過(guò)了0.25，因此可以認(rèn)為兩個(gè)樣本的分布發(fā)生了明顯的變化，然后再觀察發(fā)現(xiàn)預(yù)期樣本評(píng)分的平均數(shù)大于實(shí)際樣本評(píng)分的平均數(shù),因此可以認(rèn)為預(yù)期樣本向高分段變動(dòng)了。

三、什么原因?qū)е履Ｐ偷男阅懿环€(wěn)定？

如果發(fā)現(xiàn)模型不穩(wěn)定了，是什么原因?qū)е履Ｐ偷男阅懿环€(wěn)定？

模型是一把尺，尺不會(huì)變長(zhǎng)，也不會(huì)變短，那么導(dǎo)致衡量不準(zhǔn)的原因只可能是客戶(hù)變化的原因，具體講就是好壞客戶(hù)分布變化的原因。

我們以好壞樣本評(píng)分分布圖為例說(shuō)明：

上圖表示好壞客戶(hù)在評(píng)分模型上的分布，可以看到好客戶(hù)主要分布在高分區(qū)間，而壞客戶(hù)主要分布在低分區(qū)間，兩個(gè)分布交叉的地方表示模型無(wú)法有效區(qū)分的區(qū)域。

最好的模型是使得兩類(lèi)分布沒(méi)有交叉，最壞的模型則是兩類(lèi)分布完全重合。中間垂直的虛線(xiàn)表示評(píng)分的閾值，高于閾值的為好客戶(hù)，低于閾值的為壞客戶(hù)。

因此，影響模型區(qū)分度的因素可以分為兩個(gè)：

1. 第一個(gè)是模型的排序能力，也就是模型是否能夠?qū)深?lèi)客戶(hù)的分布盡可能的分開(kāi)，使得交叉的部分足夠??；
2. 第二個(gè)是評(píng)分的閾值，也就是如何將兩類(lèi)樣本分布的交叉區(qū)域進(jìn)行劃分。

假如客戶(hù)群體發(fā)生了變化，那么變化的類(lèi)型可以分為四類(lèi)：

1. 壞客戶(hù)的評(píng)分朝著高分段偏移而好客戶(hù)的評(píng)分朝著低分段偏移（見(jiàn)上圖a）

反映到實(shí)際的情況是全部客戶(hù)的評(píng)分均值變小，且好客戶(hù)和壞客戶(hù)的評(píng)分均值之差也變小。

分析：這種變化是導(dǎo)致模型預(yù)測(cè)能力下降最常見(jiàn)和最主要的原因。因?yàn)閴目蛻?hù)和好客戶(hù)分布的交叉區(qū)域變大，意味著模型的排序能力降低，從而導(dǎo)致模型的區(qū)分度下降。

發(fā)生這類(lèi)變化的原因有可能是宏觀經(jīng)濟(jì)惡化導(dǎo)致客戶(hù)整體的還款能力下降，或者公司業(yè)務(wù)轉(zhuǎn)型導(dǎo)致目標(biāo)客戶(hù)發(fā)生變化，或者公司業(yè)務(wù)團(tuán)隊(duì)在某段時(shí)間內(nèi)集中某一類(lèi)的客戶(hù)過(guò)度營(yíng)銷(xiāo)，或者數(shù)據(jù)質(zhì)量不穩(wěn)定的原因。

2. 壞客戶(hù)的評(píng)分朝著低分段偏移而好客戶(hù)的評(píng)分朝著高分段偏移（見(jiàn)上圖b）

反映到實(shí)際的情況是全部客戶(hù)的評(píng)分均值變大，且好客戶(hù)和壞客戶(hù)的評(píng)分均值之差也變大。

分析：第二種變化的結(jié)果是改善型的，模型的區(qū)分度不僅沒(méi)有下降，反而比以前更高了，實(shí)踐中幾乎不可能發(fā)生。

3. 壞客戶(hù)和好客戶(hù)的評(píng)分一起朝著高分段偏移

反映到實(shí)際的情況就是全部客戶(hù)的評(píng)分均值變大，但好客戶(hù)和壞客戶(hù)的平分均值之差不變。

分析：這種變化相當(dāng)于評(píng)分閾值的被動(dòng)下調(diào)，從而導(dǎo)致提高了違約率，提升了通過(guò)率，但是模型的排序能力變化不大。

4. 壞客戶(hù)和好客戶(hù)的評(píng)分同時(shí)朝著低分段偏移

反映到實(shí)際的情況就是全部客戶(hù)的評(píng)分均值變小，但好客戶(hù)和壞客戶(hù)的平均均值之差不變。

分析：這種變化相當(dāng)于評(píng)分閾值的上調(diào)，從而降低了通過(guò)率和違約率，但是模型的排序能力變化不大。

四、如果模型不穩(wěn)定了該采取什么措施？

對(duì)于第二種變化，我們無(wú)需做任何調(diào)整。對(duì)于第三和第四種變化，我們只需要相應(yīng)調(diào)整評(píng)分閾值。但是對(duì)于第一種變化，調(diào)整評(píng)分閾值無(wú)能為力，因?yàn)檫@是模型排序能力變化導(dǎo)致的。

是不是遇到第一類(lèi)情況就一定要更換模型了呢？有沒(méi)有其他的應(yīng)對(duì)措施呢？

首先我們得分析導(dǎo)致客戶(hù)分布發(fā)生變化的原因：

1. 第一類(lèi)是從時(shí)間切片的角度統(tǒng)計(jì)分類(lèi)客戶(hù)的PSI

例如我們通過(guò)計(jì)算每個(gè)月末的分類(lèi)客戶(hù)PSI值，發(fā)現(xiàn)某一類(lèi)客戶(hù)的PSI值連續(xù)發(fā)生較大變化，我們可以單獨(dú)分析該類(lèi)客戶(hù)PSI變化的原因。

如果是該類(lèi)客戶(hù)所在的行業(yè)變動(dòng)，地區(qū)性災(zāi)難（地震、洪水、疫情）等短期內(nèi)不可逆的因素，建議將類(lèi)似客戶(hù)拒絕進(jìn)件。若是公司營(yíng)銷(xiāo)部門(mén)針對(duì)某一類(lèi)客戶(hù)過(guò)度營(yíng)銷(xiāo)，建議與業(yè)務(wù)團(tuán)隊(duì)溝通優(yōu)化業(yè)務(wù)方向。

2. 第二種是從特征角度考慮

即整體客群整體好壞比不變的情況下客群結(jié)構(gòu)發(fā)生變化，此時(shí)可以考慮重新調(diào)整個(gè)別特征的分箱。

如果在客群變化的情況下，特征的每個(gè)分箱的好壞比與模型開(kāi)發(fā)時(shí)候的好壞比變化了，那么每個(gè)分箱WOE也就發(fā)生變化，從而影響模型的排序能力。

因此如果能夠?qū)⑻卣鞯姆窒渲匦抡{(diào)整，使得新的分箱內(nèi)的壞好比恢復(fù)到和模型開(kāi)發(fā)時(shí)候一樣，那就恢復(fù)了模型的排序能力。

舉個(gè)例子：假如模型上線(xiàn)6個(gè)月后，我們觀察到收入特征有如下變化（這里收入分箱是在模型開(kāi)發(fā)階段根據(jù)最優(yōu)分箱的方法進(jìn)行分箱的結(jié)果，過(guò)去壞好比是指模型開(kāi)發(fā)階段時(shí)訓(xùn)練集按照最優(yōu)分箱后的壞好比。當(dāng)前壞好比，是將模型上線(xiàn)6個(gè)月后的樣本按照上述最優(yōu)分箱進(jìn)行分箱后求得的壞好比）：

從上表可以看到，當(dāng)前全部客戶(hù)的壞好比與評(píng)分卡開(kāi)發(fā)的時(shí)候全部客戶(hù)壞好比相差不大（這是必須要滿(mǎn)足的前提），但是當(dāng)前壞好比在每個(gè)收入分段與過(guò)去壞好比有明顯的差異。

例如：在高收入?yún)^(qū)間內(nèi)，當(dāng)前違壞好比比過(guò)去壞好比高，而在低收入?yún)^(qū)間內(nèi)，當(dāng)前壞好比比過(guò)去壞好比低，這反映了壞客戶(hù)在收入維度的偏移，進(jìn)而導(dǎo)致模型的區(qū)分度下降。

因此原本的分箱已經(jīng)不適用于當(dāng)前的情況，我們需要調(diào)整分箱，使得調(diào)整后新的分箱的每個(gè)收入分段內(nèi)的當(dāng)前壞好比與過(guò)去壞好比一樣。

值得注意的是：采用這辦法需要滿(mǎn)足當(dāng)前全部客戶(hù)的好壞比和過(guò)去全部客戶(hù)的好壞比保持一致的條件，如果信貸環(huán)境和客群質(zhì)量發(fā)生不穩(wěn)定的情況，使得條件無(wú)法滿(mǎn)足，這種方法就無(wú)法使用，只能重新開(kāi)發(fā)評(píng)分卡。

五、總結(jié)

PSI本身不是直接衡量模型穩(wěn)定性的指標(biāo)，而是通過(guò)衡量客群分布變化，間接反映模型預(yù)測(cè)能力穩(wěn)定性指標(biāo)。

PSI指標(biāo)傳遞的信息有限，僅能夠反映客戶(hù)分布是否發(fā)生了變化以及變化的程度，但不能反映變化的方向以及變化原因，因此要我們需要結(jié)合業(yè)務(wù)實(shí)際分析PSI值變化背后的深層次原因，并采取針對(duì)性的措施化解負(fù)面影響。

以上，是我對(duì)模型穩(wěn)定性及反應(yīng)指標(biāo)PSI的理解，期待與大家交流討論！

本文由 @FAL金科應(yīng)用研院 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 unsplash，基于 CC0 協(xié)議