以淘寶女裝分類為例:AI產(chǎn)品經(jīng)理要不要懂算法?

1 評(píng)論 12211 瀏覽 43 收藏 13 分鐘

有的時(shí)候AI產(chǎn)品經(jīng)理被認(rèn)為是拿著算法技術(shù)在不同的行業(yè)里、不同的業(yè)務(wù)類型中、不同的場(chǎng)景里嘗試需求設(shè)計(jì)成產(chǎn)品并運(yùn)營之,那么在智能+的紅利期,在算法邊界的探索期,在傳統(tǒng)互聯(lián)網(wǎng)需要轉(zhuǎn)型+AI的剛需期,AI產(chǎn)品經(jīng)理要不要懂算法呢?

我們先來分析一個(gè)案例:用深度學(xué)習(xí)算法幫助淘寶女裝分類

步驟流程如下:

  • 第一步:搜集形成數(shù)據(jù)集;
  • 第二步:溝通團(tuán)隊(duì)擬定產(chǎn)品方法策略【比如:選擇適合的模型算法】;
  • 第三步:所采用的模型算法在第一步的數(shù)據(jù)集上進(jìn)行訓(xùn)練;
  • 第四步:比對(duì)其他模型算法的效率;
  • 第五步:上線

一、數(shù)據(jù)采集及數(shù)據(jù)處理

產(chǎn)品驅(qū)動(dòng)并有產(chǎn)品經(jīng)理確定數(shù)據(jù)采集對(duì)象,例如:確定采集女裝,跟團(tuán)隊(duì)講出理由。

首先產(chǎn)品提出需求從淘寶網(wǎng)站上爬取大量的女裝圖像并進(jìn)行篩選保留了XXX張質(zhì)量比較高的圖像。然后,將這些圖像分為多少個(gè)子任務(wù)(女上衣品類、主顏色模式、次顏色、主模式、次模式、紋理模式、流行元素、領(lǐng)型、袖長、衣長、版型、門襟、面料),其中每一個(gè)子任務(wù)都是一個(gè)獨(dú)立的細(xì)粒度多分類問題,分別展示衣長、女上衣品類、主顏色和主花色模式的一些樣本。

最后,在清洗完數(shù)據(jù)之后,請(qǐng)一些行業(yè)專家對(duì)數(shù)據(jù)進(jìn)行標(biāo)定和檢驗(yàn),以確保數(shù)據(jù)的可靠性。另外每個(gè)子任務(wù)的數(shù)據(jù)分布都是不均勻的,衣長、主顏色以及主花色模式分布更是極其不平衡,這個(gè)現(xiàn)象增加了分類問題的難度。

二、用深度學(xué)習(xí)技術(shù)

1. 框架算法選擇

算法工程師選擇幾個(gè)較具有代表性的神經(jīng)網(wǎng)絡(luò)(例如:Resnet101、空洞卷積網(wǎng)絡(luò)和壓縮激勵(lì)網(wǎng)絡(luò)),并在此基礎(chǔ)上進(jìn)行圖像分類。

(1)Resnet101:在深度學(xué)習(xí)初期,由于梯度消失的問題,網(wǎng)絡(luò)結(jié)構(gòu)的深度一直是一個(gè)難以解決的難題。殘差網(wǎng)絡(luò) Resnet引入一個(gè)所謂的恒等快捷連接,將上一層的輸入直接與后面層的輸出相加,很好地解決了梯度消失的問題。

(2)空洞卷積網(wǎng)絡(luò)(Dilated Convolution Network,DRN):在使用深度神經(jīng)網(wǎng)絡(luò)解決分類任務(wù)的問題上,維護(hù)圖像的分辨率是一個(gè)很重要的任務(wù),即輸入的分辨率越大,分類的效果越好。但由于硬件設(shè)備的限制,不能無限地增大圖像分辨率,而 DRN使用空洞卷積的思想很好地解決了這個(gè)問題,即使用較小分辨率的輸入一樣能得到很好的效果。

(3)壓縮激勵(lì)網(wǎng)絡(luò)(Squeeze-and-Excitation Networks,SENet):SENet曾經(jīng)獲得了 ImageNet 2017 圖像識(shí)別大賽的冠軍,其做法是通過學(xué)習(xí)的方式自動(dòng)獲取到每個(gè)特征通道的重要程度,然后依照這個(gè)重要程度去提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征。

2. 處理不平衡數(shù)據(jù)

算法工程師共同挖掘數(shù)據(jù)不平衡問題,比如:基于采樣的方法和基于代價(jià)(損失函數(shù))的方法。

(1)基于采樣的方法:在不平衡分布的數(shù)據(jù)中使用采樣方法,目的是為了將不平衡的數(shù)據(jù)變?yōu)榫鶆蚍植肌?/p>

一般,將分布不平衡的數(shù)據(jù)變?yōu)榫鶆蚍植贾竽軌蛴行岣叻诸惥?,常見的采樣方法一般分為升采樣和降采樣?其中,升采樣一般又有隨機(jī)升采樣、合成新數(shù)據(jù)等方法。

降采樣一般有隨機(jī)降采樣、指導(dǎo)性降采樣等方法:

  • 其中,隨機(jī)升采樣的做法是:從樣本數(shù)量少的類別集合 Smin 中隨機(jī)復(fù)制一部分樣本,然后將其添加到總樣本集合 E 中,最終使總樣本集合中的樣本分布達(dá)到平衡。
  • 而隨機(jī)降采樣的做法則是相反:將樣本數(shù)量多的類別集合 Smax中隨機(jī)刪掉一部分樣本,最終使總樣本集合 E 分布達(dá)到平衡。

(2)基于代價(jià)(損失函數(shù))的方法:主要是從損失函數(shù)方面入手解決樣本分布不平衡的問題。

對(duì)某一類,其類內(nèi)之間的距離有可能非常大,需要增加一種約束將其類內(nèi)之間的距離縮小;而對(duì)另外一部分類,其類間距離可能太近了,因此需要一種約束來將其類間距離拉大。

技術(shù)研究使用,例如:Rangeloss損失函數(shù)處理分布不均衡問題。 Rangeloss 損失函數(shù)來解決這個(gè)問題,其中,Rangeloss 是一種和樣本數(shù)目無關(guān)的損失函數(shù)。具體的,Rangeloss 分為類內(nèi)損失函數(shù)和類間損失函數(shù)兩部分。

具體如公式如下:Lr=| aLr intra+BLr inter|

作為損失函數(shù)是解決啥問題呢?

現(xiàn)在數(shù)據(jù)庫中普遍存在的問題,就是數(shù)據(jù)存在長尾分布的情況。

那么什么是長尾分布呢?

其實(shí)有點(diǎn)類似于二八定律,即80%的財(cái)富集中在20%的人手里等等。尾巴部分雖然值普遍很小,但是由于數(shù)量很多,導(dǎo)致其對(duì)一個(gè)模型的訓(xùn)練有很大的影響。

對(duì)于女裝數(shù)據(jù)庫而言,長尾分布主要表現(xiàn)在很多的identity含有較少的贗本數(shù)量,如下圖:

3. 多任務(wù)聯(lián)合訓(xùn)練策略

在這多個(gè)子任務(wù)中,有些子任務(wù)之間可能是具有相關(guān)性的,如女上衣品類和衣長、主顏色和次顏色、紋理模式和版型等。若將每個(gè)子任務(wù)看作一個(gè)獨(dú)立的子任務(wù),顯然會(huì)忽略任務(wù)之間的一些相關(guān)性。為了將任務(wù)之間的相關(guān)性利用起來,技術(shù)一般采用多任務(wù)聯(lián)合訓(xùn)練策略。多

任務(wù)學(xué)習(xí),是將多個(gè)相關(guān)的任務(wù)放在一起學(xué)習(xí)的一種機(jī)器學(xué)習(xí)方法,如下圖:圖中的神經(jīng)網(wǎng)絡(luò)處理算法,在筆者的書《AI賦能-AI重新定義產(chǎn)品經(jīng)理》一書中還有很多撰寫。

多個(gè)任務(wù)在淺層共享參數(shù),在最后使用各自任務(wù)所對(duì)應(yīng)的分類器進(jìn)行分類,每個(gè)子任務(wù)的分類器都是以一層或多層全連接層實(shí)現(xiàn)的。在訓(xùn)練時(shí),每個(gè)子任務(wù)的分類結(jié)果使用交叉熵?fù)p失函數(shù)計(jì)算損失,并將每個(gè)子任務(wù)的損失加權(quán)求和得到最后的損失。

4. 技術(shù)選擇深度學(xué)習(xí)框架和硬件條件

例如:算法工程師會(huì)配合技術(shù)人員采用 Ubuntu16.04+python2.7+pytorch 0.4 作為深度學(xué)習(xí)框架,并在此基礎(chǔ)上進(jìn)行訓(xùn)練。訓(xùn)練中使用顯卡為 TITAN XP 2080Ti。

算法工程師在 Resnet101、DRN 和 SENet 這 3 個(gè)神經(jīng)網(wǎng)絡(luò)上進(jìn)行對(duì)比,看哪種算法分類效果更好。

三、AI產(chǎn)品經(jīng)理的工作不僅僅是“擺渡人”。

AI產(chǎn)品經(jīng)理做的還是產(chǎn)品需求挖掘+產(chǎn)品資源規(guī)劃+行業(yè)專家+協(xié)同算法工程師探索適合的算法。

1. 產(chǎn)品需求挖掘

如當(dāng)用戶想要在淘寶會(huì)等平臺(tái)購買商品時(shí),往往會(huì)根據(jù)商品的類別及其屬性來篩選需要購買的目標(biāo)商品,因此商家會(huì)為每件商品制定很多屬性以便于用戶檢索。面對(duì)海量的商品圖像數(shù)據(jù),如果使用人工標(biāo)注的方式對(duì)商品圖像的屬性進(jìn)行標(biāo)注,需要花費(fèi)大量的人力和時(shí)間。

2. AI產(chǎn)品資源規(guī)劃:步驟流程

  • 第一步:搜集形成數(shù)據(jù)集;
  • 第二步:溝通擬定產(chǎn)品方法策略【比如:模型算法】;
  • 第三步:所采用的模型算法在第一步的數(shù)據(jù)集上進(jìn)行訓(xùn)練驗(yàn)證;
  • 第四步:比對(duì)其他模型算法的效率;
  • 第五步:上線。

3. 行業(yè)專家

商品圖片的特點(diǎn)是:有些商品不同的屬性之間數(shù)量差異很大,即商品的屬性存在數(shù)據(jù)分布不平衡的特性,如“衣長”屬性,日常生活中人們穿得最多的是標(biāo)準(zhǔn)的到達(dá)髖部位置的衣服(普通外套、T 恤等),其他的如風(fēng)衣、長短裙(到達(dá)大腿或小腿位置)等的數(shù)量明顯少于到達(dá)髖部位置的衣服。

有些商品不同的屬性之間差異很小,可以看作是細(xì)粒度分類問題,如“領(lǐng)型”屬性,一些領(lǐng)型屬性之間的差異非常小,常人難以區(qū)分開來。這兩個(gè)問題加大了商品圖像屬性分類的難度。

所以首先AI產(chǎn)品經(jīng)理,是個(gè)學(xué)習(xí)型的衣服行業(yè)專家。

4. 協(xié)同算法工程師探索技術(shù)邊界:

選在基于深度學(xué)習(xí)技術(shù),使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)商品圖像的屬性分類進(jìn)行研究。

(1)首先確定范圍:從淘寶網(wǎng)站上爬取XXXXXXXXX個(gè)商品圖片。

(2)其次并將這些圖片分為多少個(gè)子任務(wù):女上衣品類、主顏色模式、次顏色、主模式、次模式、紋理模式、流行元素、領(lǐng)型、袖長、衣長、版型、門襟、面料。

每一個(gè)子任務(wù)都是一個(gè)獨(dú)立的細(xì)粒度多分類任務(wù),且?guī)缀趺總€(gè)子任務(wù)都具有嚴(yán)重的數(shù)據(jù)分布不平衡問題,這點(diǎn)重點(diǎn)建議算法工程師采用適合的算法。

5. AI產(chǎn)品經(jīng)理多少還是要懂一些硬件

筆者在新書《AI賦能-AI重新定義產(chǎn)品經(jīng)理》一書中和AI產(chǎn)品經(jīng)理相關(guān)內(nèi)容中多次提到數(shù)據(jù)由硬件采集,也有的人叫物聯(lián)網(wǎng)(IoT)。另外筆者也多次強(qiáng)調(diào)AI=算法+數(shù)據(jù)+算力,算力也是有硬件提供。

總結(jié)

AI產(chǎn)品經(jīng)理要懂算法,且是跟算法工程師共同打磨技術(shù)的邊界。如果團(tuán)隊(duì)算法工程師和編碼工程師的技術(shù)能力非常充足,那么產(chǎn)品經(jīng)理可以把精力放在非算法協(xié)同上,如果團(tuán)隊(duì)資源不充足的話,AI產(chǎn)品經(jīng)理就要付出更多的經(jīng)歷配合算法工程師尋找適合的算法并落地。

部分產(chǎn)品經(jīng)理閱讀了本文會(huì)覺得AI產(chǎn)品經(jīng)理很簡(jiǎn)單,Just so so 的錯(cuò)覺,作為踩過坑,熬過無數(shù)夜的人建議不妨多聽聽別人踩過的坑。才來判斷自己是否適合AI產(chǎn)品經(jīng)理,才知道自己是否是個(gè)能夠在互聯(lián)網(wǎng)冬天愿意突破職業(yè)發(fā)展瓶頸的人。

如果你想系統(tǒng)化入門AI產(chǎn)品經(jīng)理,掌握AI產(chǎn)品經(jīng)理的落地工作方法,戳這里>http://996.pm/7bjab

#專欄作家#

連詩路,公眾號(hào):LineLian。人人都是產(chǎn)品經(jīng)理專欄作家,《產(chǎn)品進(jìn)化論:AI+時(shí)代產(chǎn)品經(jīng)理的思維方法》一書作者,前阿里產(chǎn)品專家,希望與創(chuàng)業(yè)者多多交流。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 我是Line粉,我覺得,只有勤奮持續(xù)學(xué)習(xí)的人才能抓住AI?的紅利。不愿努力的人肯定在互聯(lián)網(wǎng)裁員風(fēng)波中深感痛苦。

    來自上海 回復(fù)