文章通過教學(xué)爬取招聘數(shù)據(jù)的方式，詳細(xì)剖析了當(dāng)今AI產(chǎn)品經(jīng)理的崗位需求和企業(yè)招聘情況。

商業(yè)情報領(lǐng)域，有一個被稱為奧地利學(xué)派的理論，他們主要關(guān)注不能量化的信息，而非公式化的信息，認(rèn)為這類信息才是高利潤的來源，并且指出商業(yè)情報工作的重點(diǎn)，應(yīng)該是不能用數(shù)據(jù)或統(tǒng)計分析方法解決的問題。

我個人其實很欣賞這個理論，如果能夠通過數(shù)據(jù)的統(tǒng)計分析能夠發(fā)現(xiàn)需求的話，那么產(chǎn)品經(jīng)理的價值和意義怎么去體現(xiàn)，產(chǎn)品經(jīng)理真正的價值應(yīng)該是體現(xiàn)在：用數(shù)據(jù)和統(tǒng)計分析方法無法直觀體現(xiàn)和挖掘需求的數(shù)據(jù)上。

John：

好久不見，我是Kevin。近期也想從產(chǎn)品經(jīng)理轉(zhuǎn)行成為一名AI產(chǎn)品經(jīng)理，我需要做什么樣的準(zhǔn)備呢？

??????????????????????????????????????????????????????????? Kevin

???????????????????????????????????????????????? 2018年9月8日

Kevin:

已經(jīng)收到你的來信，的確好久不見！既然你想成為一名AI產(chǎn)品經(jīng)理，那我今天先給你說一下企業(yè)對于AI產(chǎn)品經(jīng)理有怎樣的要求吧？

一、爬取招聘數(shù)據(jù)

我們從拉勾上爬取有關(guān)AI產(chǎn)品經(jīng)理的招聘數(shù)據(jù)：

完整的代碼下載地址：

鏈接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg? 密碼:b5dz

在范冰的《增長黑客》一書中，提到增長黑客使用的各種方法，包括：A/B 測試、數(shù)據(jù)抓取、排隊機(jī)制、提供有損服務(wù)等。由于今天我們的任務(wù)主要是基于數(shù)據(jù)分析的，我們就來簡單的了解一下數(shù)據(jù)抓取。

作為產(chǎn)品經(jīng)理、增長黑客、亦或AI產(chǎn)品經(jīng)理，難免會在日常工作中需要使用和分析第三方的數(shù)據(jù)，比如百度API Store，聚合數(shù)據(jù)等公開的第三方數(shù)據(jù)服務(wù)提供商，從事淘寶客產(chǎn)品的伙伴，可能需要分析淘寶的商品數(shù)據(jù)。

不管是哪一種類型的產(chǎn)品經(jīng)理，遇到問題的第一時間，想到的并不是需要用寫代碼去解決問題(請記住我們是產(chǎn)品經(jīng)理，我們不是負(fù)責(zé)開發(fā)的伙伴)，而是利用現(xiàn)有的工具，數(shù)據(jù)的抓取工作也是同樣的道理?，F(xiàn)有的第三方工具，比如八爪魚(http://www.bazhuayu.com)。

如果現(xiàn)有第三方工具不能滿足需要的情況，例如John的尷尬情況，因為八爪魚只提供Windows的版本，我的Mac無法運(yùn)行，所以我選了用Python編寫爬蟲。而產(chǎn)品經(jīng)理涉及相關(guān)的爬蟲工作，我們只需要了解基礎(chǔ)的爬蟲程序就可以了，如果要從事比較深入的工作，好吧你可以轉(zhuǎn)行從事開發(fā)的工作了，少年！

我們先寫一個最基本的爬蟲小程序。

工作：Python2.7

目的：第一個爬蟲程序

第一行代碼是：

# -*- coding:UTF-8 -*-

如果我們是使用的Python工具，第一行代碼一定先寫下這句，這是為了使我們在編寫代碼時，能夠使用中文的注釋或者一些中文字符。

OK我們導(dǎo)入requests庫，requests庫的開發(fā)者為我們提供了詳細(xì)的中文教程，查詢起來很方便，萬事請問度娘。如果我們需要使用Python進(jìn)行網(wǎng)絡(luò)請求，requests將是我們十分常用的庫。

import requests

讓我們看下requests.get()方法，它用于向服務(wù)器發(fā)起GET請求，不了解GET請求沒有關(guān)系。我們可以這樣理解：get的中文意思是得到、抓住，那這個requests.get()方法就是從服務(wù)器得到、抓住數(shù)據(jù)，也就是獲取數(shù)據(jù)。我們就以百度為例：

if __name__ == ‘__main__’:

target = ‘https://www.baidu.com’

req = requests.get(url=target)

print(req.text)

運(yùn)行程序，我們看到以下結(jié)果：

我們已經(jīng)完成了我們的第一個小程序。大家可以把鏈接換成其他的鏈接，嘗試一下爬取我們感興趣的內(nèi)容。

再者，我們來說一下比較深入一點(diǎn)的爬蟲抓取工程，通常思路：

1. 找到我們目標(biāo)數(shù)據(jù)的API；
2. Python模擬GET請求獲取數(shù)據(jù)；
3. 保存數(shù)據(jù)，等待我們?nèi)ソ议_他的神秘面紗。

我們以本次爬取拉勾的招聘數(shù)據(jù)為例，筆者首先找到招聘數(shù)據(jù)的API：

具體的實現(xiàn)過程，可以從百度網(wǎng)盤中下載源碼。

程序運(yùn)行完之后，數(shù)據(jù)如下圖所示：

二、數(shù)據(jù)分析及理解

我們開始對獲取到的數(shù)據(jù)進(jìn)行分析和理解:

鏈接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg ?密碼:b5dz

給大家分享一個模板，我們基礎(chǔ)的數(shù)據(jù)分析和理解工作，也可以參考該模板：

# 1. 準(zhǔn)備

1. # a) 導(dǎo)入類庫
2. # b) 導(dǎo)入數(shù)據(jù)集
3. # c) 初步描述性統(tǒng)計

# 2. 預(yù)處理數(shù)據(jù)

1. # a) 數(shù)據(jù)清洗
2. # b) 特征選擇
3. # c) 數(shù)據(jù)轉(zhuǎn)換

# 3. 概述數(shù)據(jù)

1. # a) 描述性統(tǒng)計
2. # b) 數(shù)據(jù)可視化

2.1 導(dǎo)入數(shù)據(jù)

通過Pandas導(dǎo)入CSV文件，CSV 文件是用逗號（,）分隔的文本文件。

我們導(dǎo)入數(shù)據(jù)后，可以通過head方法查看一下我們的數(shù)據(jù)是否正常導(dǎo)入。

Data.head()

我們數(shù)據(jù)已經(jīng)正常導(dǎo)入。

2.2 初步描述性統(tǒng)計數(shù)據(jù)

我們的數(shù)據(jù)維度：共有450行，11列數(shù)據(jù)。這說明我們總共抓取到450條招聘信息，而11列說明我們設(shè)定爬取的參數(shù)時，設(shè)定了11個參數(shù)或指標(biāo)。

我們查看數(shù)據(jù)概述數(shù)據(jù)，如果數(shù)據(jù)大部分為數(shù)字或者全是數(shù)值型數(shù)據(jù)的話，通過data.describe()方法查看數(shù)據(jù)，能夠幫我們直觀的看到數(shù)據(jù)的整體情況，比如最大值、最小值、中位數(shù)等數(shù)據(jù)。

由于我們此次抓取的數(shù)據(jù)都是對象，所以呈現(xiàn)了上述的情況，不過我們依然可以看到數(shù)據(jù)共有450條，招聘的公司總數(shù)有308條，開出的工資條件總共有71種薪水范圍。

數(shù)據(jù)類型：

查看數(shù)據(jù)類型的重要一點(diǎn)，就是我們需不需要對數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換。

2.3 數(shù)據(jù)清洗

我們進(jìn)行數(shù)據(jù)清洗，通常采用的方式：

1. 刪除空值數(shù)據(jù)；
2. 去除重復(fù)值數(shù)據(jù)；
3. 刪除異常值數(shù)據(jù)；
4. 刪除包含某個關(guān)鍵詞的數(shù)據(jù)或者不包含某個關(guān)鍵詞的數(shù)據(jù)。

我們此次采取的是刪除包含某個關(guān)鍵詞的數(shù)據(jù)：

2.4 對數(shù)據(jù)進(jìn)行可視化理解

通常我們的數(shù)據(jù)可視化包含：

1. 分布直方圖
2. 箱線圖
3. 線性圖
4. 餅圖
5. 詞云

matplotlib包含了豐富的圖表，大家可以到官網(wǎng)上去選擇自己需要用到的圖表。（matplotlib: https://matplotlib.org）

我們此次用到的首先是餅圖，查看全國主要城市，對于AI產(chǎn)品經(jīng)理的招聘情況：

① 全國主要城市AI產(chǎn)品經(jīng)理的招聘情況：

城市：

• 上海????? 82
• 東莞?????? 1
• 佛山?????? 1
• 北京???? 153
• 南京????? 12
• 南寧?????? 1
• 廈門????? 11
• 合肥?????? 5
• 天津?????? 3
• 寧波?????? 2
• 常州?????? 1
• 廣州????? 51
• 成都?????? 3
• 杭州????? 64
• 武漢????? 12
• 濟(jì)南?????? 2
• 深圳????? 14
• 珠海?????? 2
• 石家莊????? 1
• 蘇州????? 11
• 西安?????? 4
• 貴陽?????? 1
• 鄭州?????? 4
• 重慶?????? 3
• 長沙?????? 5

從數(shù)據(jù)來看：北京AI產(chǎn)品經(jīng)理招聘崗位153個，上海82個，杭州64個，廣州51個。通過地理分布來看，AI產(chǎn)品經(jīng)理作為一個新的產(chǎn)品經(jīng)理品種，仍是集中在北上杭廣三大地區(qū)。

② AI產(chǎn)品產(chǎn)品經(jīng)理工資情況：

AI產(chǎn)品經(jīng)理工資平均數(shù)為16K，25%的伙伴能拿到19K，最高是55K，而最低僅有3K，平均工資在16K左右。由此來看，AI產(chǎn)品經(jīng)理是產(chǎn)品經(jīng)理這個種群中高收入的人群，產(chǎn)品經(jīng)理雖然散步在互聯(lián)網(wǎng)行業(yè)的各個角落，但是AI產(chǎn)品經(jīng)理目前主要分布在并且集中在使用大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、智能家居、車聯(lián)網(wǎng)等與前沿技術(shù)相關(guān)聯(lián)的公司。雖然技術(shù)的發(fā)展，AI產(chǎn)品將是一個新的增長極。

從工資的分布直方圖來看，主要工資集中在15-20K左右居多，其次為10K-15K左右。從抓取的數(shù)據(jù)來看，多數(shù)工資的構(gòu)成仍然是普通產(chǎn)品經(jīng)理崗位的工資，10K-15K左右為數(shù)據(jù)產(chǎn)品經(jīng)理的薪資范圍，15-20K是真正屬于AI產(chǎn)品經(jīng)理的崗位薪資。

③ 職位福利：

我們將職位福利這一列的數(shù)據(jù)匯總，按照詞頻生成詞云。可見五險一金在職位福利里出現(xiàn)的頻率最高，其次是平臺，工作氛圍、年終獎、期權(quán)等。

④ 學(xué)歷要求：

從數(shù)據(jù)來看，R-squared的值為0.185，說明工作經(jīng)驗和學(xué)歷僅僅解釋了工資變異性的18.5%。

這一點(diǎn)其實比較好理解，因為我們抓取的數(shù)據(jù)中，title其實主要仍然是普通產(chǎn)品經(jīng)理的崗位工作，普通產(chǎn)品經(jīng)理的崗位工作、數(shù)據(jù)產(chǎn)品經(jīng)理，AI產(chǎn)品經(jīng)理的實際工作內(nèi)容差異還是比較大的。

普通產(chǎn)品經(jīng)理主要仍然是進(jìn)行產(chǎn)品原型設(shè)計和完成三大文檔的工作；數(shù)據(jù)行產(chǎn)品經(jīng)理可能會經(jīng)常使用Python、R等工具進(jìn)行工作；AI產(chǎn)品經(jīng)理將設(shè)計NLP、MPL等方面的工作。另外，各個公司的規(guī)模和它愿意開出的工資也不盡相同。

從這次數(shù)據(jù)分析來看，Kevin是不是對去從事AI產(chǎn)品經(jīng)理充滿了信心呢？

Kevin，我們今天看了AI產(chǎn)品經(jīng)理的崗位需求和企業(yè)招聘情況，我們下次聊聊關(guān)于AI產(chǎn)品經(jīng)理在思維上和普通產(chǎn)品經(jīng)理崗位有著怎樣的不同。

相關(guān)閱讀

產(chǎn)品經(jīng)理AI指北（二）：AI產(chǎn)品經(jīng)理思維6頂思考帽

作者：John_Ren，微信公眾號：產(chǎn)品經(jīng)理與增長黑客，id: pmgrowth

本文由 @John_Ren 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash，基于 CC0 協(xié)議