線(xiàn)下業(yè)務(wù)數(shù)據(jù)體系搭建(三):跨部門(mén)數(shù)據(jù)交互體系搭建
編輯導(dǎo)語(yǔ):公司各個(gè)業(yè)務(wù)部門(mén)之間都會(huì)存在一定的數(shù)據(jù)交互行為,此時(shí),大量不同類(lèi)型的數(shù)據(jù)可能留存,如何更好地做好數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)交互,便成為重中之重。本篇文章里,作者就跨部門(mén)間的數(shù)據(jù)交互體系搭建做了總結(jié),一起來(lái)看一下。
數(shù)據(jù)的存儲(chǔ)形式,在各個(gè)部門(mén)的系統(tǒng)留存邏輯都是不完全一致的,甚至留存的口徑都存在問(wèn)題。
以整個(gè)互聯(lián)網(wǎng)消費(fèi)金融的系統(tǒng)為例,前端訂單系統(tǒng)和業(yè)務(wù)風(fēng)控系統(tǒng)記錄的是用戶(hù)申請(qǐng)貸款到實(shí)際發(fā)放貸款為止,用戶(hù)的所有還款行為、催收員的跟進(jìn)行為對(duì)用戶(hù)產(chǎn)生的影響放在貸后跟進(jìn)系統(tǒng),最后經(jīng)歷了一整個(gè)資產(chǎn)回收周期到末端的逾期資產(chǎn)處置的系統(tǒng)上面去對(duì)用戶(hù)進(jìn)行更進(jìn)一步的操作。這部分所有的數(shù)據(jù),在一定程度上可以構(gòu)成用戶(hù)在互聯(lián)網(wǎng)消費(fèi)金融方面的整個(gè)用戶(hù)流程行為。
用戶(hù)在消金公司的行為線(xiàn)可以簡(jiǎn)單歸納為:
在用戶(hù)的實(shí)際行為下,會(huì)有大量不同類(lèi)型的數(shù)據(jù)以各種類(lèi)型留下來(lái)在各個(gè)系統(tǒng)中,不同類(lèi)型的數(shù)據(jù)和用戶(hù)行為都會(huì)被留存下來(lái),這一部數(shù)據(jù)需要以統(tǒng)一的方式和邏輯被留存在系統(tǒng)中。
這就涉及了公司各個(gè)業(yè)務(wù)部門(mén)之間數(shù)據(jù)中臺(tái)的建設(shè),如果沒(méi)有放大到所謂數(shù)據(jù)中臺(tái)的建設(shè)上,也仍然涉及了大量跨部門(mén)之間業(yè)務(wù)數(shù)據(jù)流轉(zhuǎn)交互的過(guò)程。
一、數(shù)據(jù)交互口徑
對(duì)大部分公司來(lái)說(shuō),主要是業(yè)務(wù)部門(mén)產(chǎn)生數(shù)據(jù),由數(shù)倉(cāng)、BI、大數(shù)據(jù)等等部門(mén)去做數(shù)據(jù)留存、交互,除了在業(yè)務(wù)銜接上會(huì)各個(gè)相關(guān)部門(mén)會(huì)有接觸外,還有同類(lèi)型的業(yè)務(wù)部門(mén)會(huì)產(chǎn)生數(shù)據(jù)上的交集。
像信貸商城部門(mén)、風(fēng)控部門(mén)有大量業(yè)務(wù)銜接節(jié)點(diǎn),同樣作為逾期資產(chǎn)處理的催收部門(mén)和用更有利手段的進(jìn)行訴訟催回欠款的法訴部門(mén)互相之間都會(huì)有大量業(yè)務(wù)交互的部分,這都需要各個(gè)系統(tǒng)在交互邏輯上是保持一致的。
以互聯(lián)網(wǎng)金融風(fēng)控系統(tǒng)為例,因?yàn)椤盎ヂ?lián)網(wǎng)”和“消費(fèi)金融”這兩者的特殊性,導(dǎo)致了用戶(hù)實(shí)際在線(xiàn)上操作申請(qǐng)貸款的流程需要盡可能快速,但是交易的金額量又較高,前端業(yè)務(wù)風(fēng)控系統(tǒng)的計(jì)算邏輯就需要盡可能減少多的握手次數(shù),也需要風(fēng)控引擎讀取的相關(guān)字段盡可能簡(jiǎn)單,業(yè)務(wù)邏輯更清晰。
但這樣快速響應(yīng)的系統(tǒng)在某種程度上就在本地服務(wù)器上留存大量數(shù)據(jù),進(jìn)行較為復(fù)雜的查詢(xún)工作,碰上免息、折扣的活動(dòng),大量用戶(hù)參與前端風(fēng)控評(píng)測(cè)的時(shí)候更容易產(chǎn)生風(fēng)控系統(tǒng)崩潰的情況(這也就是為什么大量企業(yè)在自己的頁(yè)面前端加入驗(yàn)證碼防止前端頁(yè)面被刷)。
傳統(tǒng)金融業(yè)的訂單數(shù)少,訂單金額高,借貸期限長(zhǎng),客群資質(zhì)好,風(fēng)控預(yù)算高;而科技金融公司實(shí)施的互聯(lián)網(wǎng)金融業(yè)務(wù)所面臨的業(yè)務(wù)場(chǎng)景則是訂單數(shù)多,訂單金額低,借貸期限短,客群資質(zhì)差,風(fēng)控預(yù)算低。
這就是為什么所有的互聯(lián)網(wǎng)金融消費(fèi)公司都需要將風(fēng)控系統(tǒng)和公司其他所有系統(tǒng)的數(shù)據(jù)交互口徑調(diào)整一致。
數(shù)據(jù)口徑的統(tǒng)一是什樣的?舉個(gè)簡(jiǎn)單的例子,以互聯(lián)網(wǎng)消金公司的兩套系統(tǒng)為例,訂單系統(tǒng)、貸后催收跟進(jìn)系統(tǒng)兩套系統(tǒng)中,用戶(hù)這個(gè)個(gè)體的所有行為,都需要統(tǒng)一:
- A用戶(hù)在訂單系統(tǒng)中的按訂單的維度記錄數(shù)據(jù):A用戶(hù)于XX年XX月XX日XX時(shí)XX分XX秒借款了3000.00元,訂單到期日為XX年XX月XX日XX時(shí)XX分XX秒;
- A用戶(hù)在貸后催收跟進(jìn)系統(tǒng)按催收處置流程的維度跟進(jìn)收集的記錄:A用戶(hù)于XX年XX月XX日XX分XX秒開(kāi)始逾期,欠款本金2000.00元,欠款罰息100.00元,逾期天數(shù)XX天,催收人員于XX年XX月XX日接入催收,用戶(hù)于XX年XX月XX日還款。
從上面的事實(shí)記錄模式看,兩者時(shí)間實(shí)際只有時(shí)間記錄顆粒度的差距,線(xiàn)上訂單系統(tǒng)的記錄能正常精準(zhǔn)到秒,但實(shí)際以線(xiàn)下行為(且行為的記錄主體是催收員,和線(xiàn)上的行為記錄主體用戶(hù)完全是兩套不同的記錄角度),這種顆粒度差距看起來(lái)差距不大,但是在實(shí)際快速響應(yīng)的風(fēng)控系統(tǒng)中,會(huì)產(chǎn)生很大的影響。
簡(jiǎn)單來(lái)說(shuō),用戶(hù)在經(jīng)過(guò)催收員溝通之后在一點(diǎn)時(shí)間內(nèi)回款,這個(gè)時(shí)間差從日期來(lái)看是天數(shù)的差距,而不是小時(shí)、分鐘的差距,這個(gè)回款天數(shù)差能夠用于實(shí)際評(píng)估用戶(hù)的還款能力。
舉個(gè)例子,用戶(hù)在接到催收電話(huà)后馬上還款,那可以根據(jù)模型估計(jì)用戶(hù)的還款行為是代表其有較強(qiáng)的還款能力的,這種有借款行為且有高還款能力的用戶(hù)在風(fēng)控上就可以相對(duì)提高用戶(hù)的額度。
同樣的,用戶(hù)如果都在催收員跟進(jìn)當(dāng)天內(nèi)進(jìn)行還款,又可能代表了不同行為特征的用戶(hù)。如果均按“0天”進(jìn)行計(jì)算,就需要從別的維度補(bǔ)充這部分?jǐn)?shù)據(jù),可能是催收員進(jìn)行跟進(jìn)的文本維度,這就需要NLP介入進(jìn)行判斷。
某種程度上來(lái)說(shuō),更復(fù)雜的模型讓各個(gè)系統(tǒng)之間的握手次數(shù)和交互流程更為復(fù)雜,這和實(shí)際業(yè)務(wù)上的追求就相悖了。
所以,在各個(gè)系統(tǒng)的交互上,更需要將所有的交互結(jié)構(gòu)、尤其是數(shù)據(jù)顆粒度,數(shù)據(jù)產(chǎn)生的邏輯進(jìn)行統(tǒng)一。
這就需要從公司層面上進(jìn)行業(yè)務(wù)線(xiàn)梳理,明確哪一條是核心業(yè)務(wù)線(xiàn),根據(jù)核心業(yè)務(wù)線(xiàn)的用戶(hù)流程去進(jìn)行各個(gè)系統(tǒng)之間的改造。不然就像我剛剛說(shuō)的,不同的系統(tǒng)之間有不同的服務(wù)目標(biāo),這是好事,但過(guò)多的服務(wù)目標(biāo)會(huì)導(dǎo)致底層數(shù)據(jù)的存儲(chǔ)邏輯不同意,在高并發(fā)的核心業(yè)務(wù)部門(mén)會(huì)導(dǎo)致大量數(shù)據(jù)被無(wú)效拉取計(jì)算,這就不利于核心業(yè)務(wù)線(xiàn)的增長(zhǎng)。
二、數(shù)據(jù)交互時(shí)效
除了數(shù)據(jù)交互口徑可能會(huì)產(chǎn)生不一致沖突的情況,數(shù)據(jù)交互時(shí)效也會(huì)對(duì)不同業(yè)務(wù)系統(tǒng)產(chǎn)生差異。
幾乎大部分涉及線(xiàn)上業(yè)務(wù)的公司都會(huì)有數(shù)倉(cāng)和大數(shù)據(jù)這兩個(gè)部門(mén)。從公司業(yè)務(wù)反饋來(lái)說(shuō),一般數(shù)倉(cāng)是歷史數(shù)據(jù)的留存處置,大數(shù)據(jù)用于線(xiàn)上實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)的更新計(jì)算。
從某種意義上,傳統(tǒng)數(shù)倉(cāng)的模式也更容易按統(tǒng)一的業(yè)務(wù)規(guī)范,按數(shù)據(jù)倉(cāng)庫(kù)工具箱:維度建模(第二版)中Kimball說(shuō):“我們花了二十年的時(shí)間往數(shù)據(jù)庫(kù)中加入數(shù)據(jù),現(xiàn)在該是拿出來(lái)使用的時(shí)候了?!睌?shù)倉(cāng)對(duì)公司整體業(yè)務(wù)的發(fā)展實(shí)際上是起到底層數(shù)據(jù)夯實(shí)奠基的作用。
大數(shù)據(jù)部門(mén)的作用則更多體現(xiàn)在實(shí)時(shí)數(shù)據(jù)的生產(chǎn),由于傳統(tǒng)數(shù)倉(cāng)本身依托于大數(shù)據(jù)量級(jí)的關(guān)系型數(shù)據(jù)庫(kù)建立,很難大量、同時(shí)提取數(shù)倉(cāng)的數(shù)據(jù)去做到即時(shí)性的分析,而從用戶(hù)的維度則更希望看到實(shí)時(shí)的結(jié)果(這種需求在涉及供需、金額變化的業(yè)務(wù)場(chǎng)景會(huì)更為突出,像12306的實(shí)時(shí)車(chē)票計(jì)算系統(tǒng)),突出的特點(diǎn)就是“及時(shí)性”、“快”,高速響應(yīng)用戶(hù)的所有定制化需求,用戶(hù)的這種需求在互聯(lián)網(wǎng)消金公司顯得尤為關(guān)鍵。
尤其是當(dāng)用戶(hù)收到我方催收作業(yè)下還款的場(chǎng)景下,會(huì)更希望在APP前端展示的欠款產(chǎn)生變化,這種及時(shí)性的需求就會(huì)要求系統(tǒng)能直接調(diào)用大數(shù)據(jù)的接口完成實(shí)時(shí)賬單的計(jì)算。
這時(shí)候就需要考慮如何將這部分?jǐn)?shù)按統(tǒng)一的規(guī)則落庫(kù)到數(shù)倉(cāng)中,去記錄用戶(hù)各個(gè)事件節(jié)點(diǎn)收到影響的行為變化,就需要數(shù)倉(cāng)留存的數(shù)據(jù)是按業(yè)務(wù)流轉(zhuǎn)節(jié)點(diǎn)去進(jìn)行記錄的,這些互相之間數(shù)據(jù)的交換。
如果在事件隨時(shí)發(fā)生就隨時(shí)交換,會(huì)極大影響系統(tǒng)的性能(這種大量判斷的邏輯會(huì)極大影響交互邏輯,如果發(fā)起交互超時(shí)了未報(bào)錯(cuò),會(huì)導(dǎo)致實(shí)際收集的數(shù)據(jù)不全等情況),這種情況并不只發(fā)生在某個(gè)系統(tǒng)中,而會(huì)出現(xiàn)在每個(gè)系統(tǒng)和數(shù)倉(cāng)、大數(shù)據(jù)的交互中,而一個(gè)系統(tǒng)尚且會(huì)碰上數(shù)據(jù)交互時(shí)間、事件維度不統(tǒng)一的情況,多個(gè)系統(tǒng)想要完成兩者邏輯的匯總,更是難上加難。
而每個(gè)系統(tǒng)所能拉取數(shù)據(jù)的時(shí)間點(diǎn)也不盡相同,這是困擾所有發(fā)展中公司,尤其是線(xiàn)上線(xiàn)下業(yè)務(wù)同時(shí)發(fā)展的公司,這種不同業(yè)務(wù)系統(tǒng)上的數(shù)據(jù)交互時(shí)間,也是需要按最核心的業(yè)務(wù)線(xiàn)進(jìn)行判定,通過(guò)核心業(yè)務(wù)線(xiàn)的業(yè)務(wù)邏輯,完成各個(gè)系統(tǒng)數(shù)據(jù)交互時(shí)間邏輯的改造。
三、最后
以上兩點(diǎn)在互聯(lián)網(wǎng)消金公司中都會(huì)發(fā)生,怎么做到兩者的統(tǒng)一,還是需要從整體業(yè)務(wù)架構(gòu)的改善中去調(diào)配。
雖然核心業(yè)務(wù)線(xiàn)是居最高位置的,但它不一定是最能代表公司營(yíng)收的業(yè)務(wù)線(xiàn),就像在大部分消金公司中,還是以風(fēng)控能力、用戶(hù)評(píng)分卡作為核心業(yè)務(wù)能力,但根據(jù)每個(gè)消金公司的業(yè)務(wù)形態(tài)不一樣,業(yè)務(wù)發(fā)展周期不一樣,公司的核心業(yè)務(wù)線(xiàn)就行發(fā)生改變,這就需要更加穩(wěn)固的集中化數(shù)據(jù)服務(wù)平臺(tái)對(duì)整體業(yè)務(wù)發(fā)展進(jìn)行評(píng)估,確定核心業(yè)務(wù)的發(fā)展和所有業(yè)務(wù)線(xiàn)的粘合方式。
當(dāng)然,作為一個(gè)偏業(yè)務(wù)后端的從業(yè)人員,也是希望后端的數(shù)據(jù)能被更多人關(guān)注,之后看時(shí)間談一談互聯(lián)網(wǎng)消金后端風(fēng)控的逾期資產(chǎn)處置對(duì)前端業(yè)務(wù)的作用吧。
作者:Logan_RRRC,公眾號(hào): Logan的運(yùn)營(yíng)學(xué)習(xí)日記
本文由 @Logan_RRRC 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于 CC0 協(xié)議
- 目前還沒(méi)評(píng)論,等你發(fā)揮!