產(chǎn)品經(jīng)理如何應(yīng)用貝葉斯定理?
貝葉斯定理提供的是一種逆條件概率的方法,本文簡(jiǎn)單總結(jié)了貝葉斯定理是什么,貝葉斯定理應(yīng)用的理解,以及貝葉斯定理在AI場(chǎng)景下的應(yīng)用,目的是希望產(chǎn)品經(jīng)理了解到這個(gè)定理的能力后,在設(shè)計(jì)相關(guān)推薦或是具有推理功能的應(yīng)用場(chǎng)景,能通過(guò)貝葉斯定理來(lái)解決。
一、貝葉斯定理介紹
其中:
- P(B|A)表示:在事件A發(fā)生的前提下,發(fā)生事件B的概率;
- P(A|B)表示:在事件B發(fā)生的前提下,發(fā)生事件A的概率;
- P(A)表示:發(fā)生事件A的概率;
- P(B)表示:發(fā)生事件B的概率。
以上公式就是貝葉斯定理,它提供的是一種逆條件概率的方法。
舉一個(gè)經(jīng)常用的例子:
比如陰天的概率是40%,下雨的概率是10%,下雨天是陰天的概率是50%,那么今天是陰天下雨的概率就是P(雨|陰)=10%*50%/40%= 12.5%。
通過(guò)概率計(jì)算發(fā)現(xiàn)今天陰天下雨的概率比較低,可以安心出行了。
因此,貝葉斯定理是條件概率的推斷問(wèn)題,這對(duì)于人們進(jìn)行有效的學(xué)習(xí)和判斷決策具有十分重要的理論和實(shí)踐意義。
二、貝葉斯定理舉例說(shuō)明
對(duì)于貝葉斯定理的應(yīng)用,難點(diǎn)在于兩個(gè)事件A和B的界定與應(yīng)用:為什么是B條件下的A的概率,而不是A條件下B的概率,P(A|B)和P(B|A) 之類(lèi)的經(jīng)常讓人混淆。也就是在我們的場(chǎng)景中哪些定義為事件A,哪些定義為事件B。
我在學(xué)習(xí)這里的時(shí)候也有一些困惑,看了一些文章,有了一定的理解:比如兩個(gè)事件A和B,這兩個(gè)事件是相關(guān)的,在A事件下有發(fā)生B概率的可能性,在B事件下有發(fā)生A事件的可能性。
但是統(tǒng)計(jì)發(fā)現(xiàn):在A條件下事件B的現(xiàn)象更容易觀測(cè)與統(tǒng)計(jì),但是A的發(fā)生或是不發(fā)生也是有一定的規(guī)律,但是這種規(guī)律更容易觀測(cè),因此我們可以定義A是可觀測(cè)的規(guī)律,B是此規(guī)律下某一個(gè)現(xiàn)象,那么貝葉斯公式就可以理解為觀察到的現(xiàn)象去推斷現(xiàn)象后的規(guī)律所發(fā)生的概率問(wèn)題。
那么貝葉斯定理可以理解為如下公式:
比如以下案例:
比如我們有兩個(gè)箱子,箱子中分別有黑球和白球,其中箱子1有10個(gè)黑球、10個(gè)白球,箱子2中有5個(gè)黑球,15個(gè)白球。那我們隨機(jī)選擇一個(gè)箱子,從箱子中摸出一個(gè)球,發(fā)現(xiàn)是黑球,那么問(wèn)這個(gè)黑球來(lái)自于一號(hào)箱子的概率是多大?
那么在上問(wèn)題上不難理解:摸出來(lái)黑球和白球是兩個(gè)現(xiàn)象,但是我們又發(fā)現(xiàn)黑球和白球在不同箱子里面概率是不一樣的,因此箱子就是兩個(gè)規(guī)律,這兩個(gè)規(guī)則控制著現(xiàn)象的發(fā)生的概率,并且是容易觀測(cè)得出概率的。
再比如,第一節(jié)說(shuō)的下雨和陰天的事件,這里面也有兩個(gè)規(guī)律和兩個(gè)現(xiàn)象:天氣下雨和不下雨是兩個(gè)規(guī)律,陰天和不是陰天是兩個(gè)現(xiàn)象。我們從下雨中發(fā)現(xiàn)是陰天的便于觀測(cè)和統(tǒng)計(jì)的,我們通過(guò)觀察天氣是陰天,推斷下雨不下雨就是一個(gè)推論。
所以,再利用貝葉斯公式的時(shí)候,注意區(qū)分哪個(gè)事件是現(xiàn)象,哪個(gè)事件是規(guī)律,通過(guò)規(guī)律下的現(xiàn)象是容易觀測(cè)統(tǒng)計(jì)的,在某一現(xiàn)象下推斷規(guī)律就是個(gè)推斷的概率。
三、貝葉斯定理AI應(yīng)用說(shuō)明
通過(guò)以上我們發(fā)現(xiàn):貝葉斯定理提供了一種發(fā)現(xiàn)邏輯,它與大腦的推理機(jī)制有很大的相似性,因此貝葉斯理論是人工智能中學(xué)習(xí)和推斷的重要分支。
美國(guó)心理學(xué)家MARR認(rèn)為人腦有三個(gè)層次:計(jì)算層、算法層、實(shí)現(xiàn)層,
- 計(jì)算層更多的是對(duì)獲取的信息的處理,比如學(xué)習(xí)知識(shí),記憶知識(shí)
- 算法層是更加抽象的認(rèn)知活動(dòng),比如歸納、推理等
- 實(shí)現(xiàn)層更多是對(duì)抽象出來(lái)的算法進(jìn)行相應(yīng)生物機(jī)制的實(shí)現(xiàn)
根據(jù)上面我們不難理解:貝葉斯理論是類(lèi)腦計(jì)算的一個(gè)算法框架,因此,了解貝葉斯理論對(duì)理解人工智能的實(shí)現(xiàn)有著很重要的作用。
要具體了解貝葉斯定理在人工智能中的應(yīng)用,我們需要在對(duì)這個(gè)公式進(jìn)行一下轉(zhuǎn)換。
我們把P(A)稱為”先驗(yàn)概率”,即在B事件發(fā)生之前,我們對(duì)A事件概率的一個(gè)判斷;P(A|B)稱為”后驗(yàn)概率”(Posterior probability),即在B事件發(fā)生之后,我們對(duì)A事件概率的重新評(píng)估;P(B|A)/P(B)稱為”可能性函數(shù)”,這是一個(gè)調(diào)整因子,使得預(yù)估概率更接近真實(shí)概率。
所以,條件概率可以理解成下面的式子:
后驗(yàn)概率=先驗(yàn)概率*調(diào)整因子
這就是貝葉斯推論。
我們先預(yù)估一個(gè)”先驗(yàn)概率”,然后加入在這個(gè)先驗(yàn)概率規(guī)律下發(fā)生某現(xiàn)象的概率,看這個(gè)現(xiàn)象到底是增強(qiáng)還是削弱了”先驗(yàn)概率”,由此推論出更接近事實(shí)的”后驗(yàn)概率”,也由此得出對(duì)于一個(gè)后驗(yàn)概率P(A|B)的增強(qiáng)或是削弱由兩個(gè)因素來(lái)決定的。
舉一個(gè)例子:拼寫(xiě)錯(cuò)誤的糾正
當(dāng)用戶輸入一個(gè)詞匯,可能正確,可能錯(cuò)誤,我們可以設(shè)定P(正確)是此正確詞的概率,P(錯(cuò)誤)是此錯(cuò)誤詞的概率,當(dāng)用戶輸入一個(gè)詞是錯(cuò)誤的,我們系統(tǒng)要推斷出正確的詞給用戶,這就是拼寫(xiě)錯(cuò)誤的糾正,也就是P(正確|錯(cuò)誤)概率越大,我們糾正的正確率也就越高。
也就是說(shuō)我們知道這個(gè)詞是錯(cuò)誤的,然后去推斷一個(gè)匹配度很高的正確的詞匯給用戶,定理中我們已知這個(gè)詞的錯(cuò)誤概率P(錯(cuò)誤),那么我們只要最大化P(錯(cuò)誤|正確)* P(正確)的詞就可以,因此找到一個(gè)正確的詞匯出現(xiàn)這個(gè)錯(cuò)誤的詞匯概率最高的一個(gè)正確的詞就可以。
我們?cè)倥e一個(gè)互聯(lián)網(wǎng)的推薦的例子,比如我們某一用戶畫(huà)像下(例如80后女性)購(gòu)買(mǎi)某一商品可能性,可能性最高的推薦給這些用戶畫(huà)像下的用戶,根據(jù)互聯(lián)網(wǎng)平臺(tái)掌握的此商品瀏覽后購(gòu)買(mǎi)概率,某一用戶畫(huà)像下用戶瀏覽此商品的概率,某一用戶畫(huà)像下用戶瀏覽此商品后夠買(mǎi)的概率。這三個(gè)概率指標(biāo),可以找到某一用戶畫(huà)像下購(gòu)買(mǎi)某商品概率最高的推薦出來(lái)。
除此之外,經(jīng)常應(yīng)用到的案例就是垃圾郵件的分類(lèi),小伙伴可以自行思考或?qū)ふ蚁嚓P(guān)文獻(xiàn)。
以上是簡(jiǎn)單總結(jié)了貝葉斯定理是什么,貝葉斯定理應(yīng)用的理解,以及貝葉斯定理在AI場(chǎng)景下的應(yīng)用,目的是希望我們做產(chǎn)品經(jīng)理的了解到這個(gè)定理的能力后,在我們?cè)O(shè)計(jì)相關(guān)推薦或是具有推理功能的應(yīng)用場(chǎng)景,我們是否能通過(guò)貝葉斯定理來(lái)解決!
其實(shí),貝葉斯理論除了貝葉斯定理之外,還有貝葉斯分析、貝葉斯邏輯、貝葉斯網(wǎng)絡(luò)、貝葉斯分類(lèi)器、貝葉斯決策、貝葉斯學(xué)習(xí)等相關(guān)理論與實(shí)踐,并在以上知識(shí)在人工智能領(lǐng)域都有應(yīng)用,如果感興趣的小伙伴可以參考相關(guān)文獻(xiàn)進(jìn)行深度研究。
關(guān)于貝葉斯定理就說(shuō)到這里,個(gè)人最近也是在做AI產(chǎn)品相關(guān)設(shè)計(jì),也是在學(xué)習(xí)和實(shí)踐中,本章就是閱讀相關(guān)文獻(xiàn)后的總結(jié)與分享,歡迎小伙伴給出建議和意見(jiàn)!
本文由 @羅飛 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
好頂贊!
學(xué)習(xí)了
謝謝
分析的不錯(cuò)
謝謝!
感覺(jué)有點(diǎn)繞暈了,不過(guò)有個(gè)地方不確定是不是有問(wèn)題。就是最后一個(gè)例子,說(shuō)消費(fèi)者的3個(gè)概率的時(shí)候,第一個(gè)概率和第三個(gè)是一樣的說(shuō)法,都是在瀏覽的情況下購(gòu)買(mǎi)的概率。有可能是我理解錯(cuò)了。
這三個(gè)概率是這樣的(可以根據(jù)歷史經(jīng)驗(yàn)統(tǒng)計(jì)出來(lái)):①某商品瀏覽后被購(gòu)買(mǎi)的概率②某一用戶畫(huà)像瀏覽此商品的概率③某一用戶畫(huà)像瀏覽后購(gòu)買(mǎi)的概率。通過(guò)這三個(gè)概率,找出來(lái)在某一商品下某一用戶畫(huà)像購(gòu)買(mǎi)率高的。
下邊說(shuō)的有點(diǎn)問(wèn)題,也可以這么理解,A事件就是瀏覽某商品購(gòu)買(mǎi)的概率;B事件就是某一用戶畫(huà)像下瀏覽某商品的概率,P(A/B)就是某一用戶畫(huà)像下瀏覽商品后購(gòu)買(mǎi)的概率,然后P(B/A)就是瀏覽某商品后某一用戶畫(huà)像購(gòu)買(mǎi)的概率,這樣應(yīng)該能好理解!
下雨天不應(yīng)該100%陰天嗎哈哈
哈哈哈,這位朋友,那你一定是沒(méi)見(jiàn)過(guò)太陽(yáng)雨! ??
?? ?? ??
哈哈哈哈哈哈,今年過(guò)年,還遇到大太陽(yáng)突然下雪,大概下了幾分鐘就停了。
機(jī)智了
深入淺出,分析的不錯(cuò) ??