產品經理AI指北（一）：企業AI產品經理採購指南

文章通過教學爬取招聘數據的方式，詳細剖析了當今AI產品經理的崗位需求和企業招聘情況。

商業情報領域，有一個被稱為奧地利學派的理論，他們主要關注不能量化的信息，而非公式化的信息，認為這類信息才是高利潤的來源，並且指出商業情報工作的重點，應該是不能用數據或統計分析方法解決的問題。

我個人其實很欣賞這個理論，如果能夠通過數據的統計分析能夠發現需求的話，那麼產品經理的價值和意義怎麼去體現，產品經理真正的價值應該是體現在：用數據和統計分析方法無法直觀體現和挖掘需求的數據上。

John：

好久不見，我是Kevin。近期也想從產品經理轉行成為一名AI產品經理，我需要做什麼樣的準備呢？

Kevin

2018年9月8日

Kevin:

已經收到你的來信，的確好久不見！既然你想成為一名AI產品經理，那我今天先給你說一下企業對於AI產品經理有怎樣的要求吧？

一、爬取招聘數據

我們從拉勾上爬取有關AI產品經理的招聘數據：

在範冰的《增長黑客》一書中，提到增長黑客使用的各種方法，包括：A/B 測試、數據抓取、排隊機制、提供有損服務等。由於今天我們的任務主要是基於數據分析的，我們就來簡單的瞭解一下數據抓取。

作為產品經理、增長黑客、亦或AI產品經理，難免會在日常工作中需要使用和分析第三方的數據，比如百度API Store，聚合數據等公開的第三方數據服務提供商，從事淘寶客產品的夥伴，可能需要分析淘寶的商品數據。

不管是哪一種類型的產品經理，遇到問題的第一時間，想到的並不是需要用寫代碼去解決問題(請記住我們是產品經理，我們不是負責開發的夥伴)，而是利用現有的工具，數據的抓取工作也是同樣的道理。現有的第三方工具，比如八爪魚(http://www.bazhuayu.com)。

如果現有第三方工具不能滿足需要的情況，例如John的尷尬情況，因為八爪魚只提供Windows的版本，我的Mac無法運行，所以我選了用Python編寫爬蟲。而產品經理涉及相關的爬蟲工作，我們只需要瞭解基礎的爬蟲程序就可以了，如果要從事比較深入的工作，好吧你可以轉行從事開發的工作了，少年！

我們先寫一個最基本的爬蟲小程序。

工作：Python2.7

目的：第一個爬蟲程序

第一行代碼是：

# -*- coding:UTF-8 -*-

如果我們是使用的Python工具，第一行代碼一定先寫下這句，這是為了使我們在編寫代碼時，能夠使用中文的註釋或者一些中文字符。

OK我們導入requests庫，requests庫的開發者為我們提供了詳細的中文教程，查詢起來很方便，萬事請問度娘。如果我們需要使用Python進行網絡請求，requests將是我們十分常用的庫。

import requests

讓我們看下requests.get方法，它用於向服務器發起GET請求，不瞭解GET請求沒有關係。我們可以這樣理解：get的中文意思是得到、抓住，那這個requests.get方法就是從服務器得到、抓住數據，也就是獲取數據。我們就以百度為例：

if __name__ == ‘__main__’:

target = ‘https://www.baidu.com’

req = requests.get(url=target)

print(req.text)

運行程序，我們看到以下結果：

我們已經完成了我們的第一個小程序。大家可以把鏈接換成其他的鏈接，嘗試一下爬取我們感興趣的內容。

再者，我們來說一下比較深入一點的爬蟲抓取工程，通常思路：

1. 找到我們目標數據的API；
2. Python模擬GET請求獲取數據；
3. 保存數據，等待我們去揭開他的神秘面紗。

我們以本次爬取拉勾的招聘數據為例，筆者首先找到招聘數據的API：

具體的實現過程，可以從百度網盤中下載源碼。

程序運行完之後，數據如下圖所示：

二、數據分析及理解

我們開始對獲取到的數據進行分析和理解:

給大家分享一個模板，我們基礎的數據分析和理解工作，也可以參考該模板：

# 1. 準備

1. # a) 導入類庫
2. # b) 導入數據集
3. # c) 初步描述性統計

# 2. 預處理數據

1. # a) 數據清洗
2. # b) 特徵選擇
3. # c) 數據轉換

# 3. 概述數據

1. # a) 描述性統計
2. # b) 數據可視化

2.1 導入數據

通過Pandas導入CSV文件，CSV 文件是用逗號（,）分隔的文本文件。

我們導入數據後，可以通過head方法查看一下我們的數據是否正常導入。

Data.head

我們數據已經正常導入。

2.2 初步描述性統計數據

我們的數據維度：共有450行，11列數據。這說明我們總共抓取到450條招聘信息，而11列說明我們設定爬取的參數時，設定了11個參數或指標。

我們查看數據概述數據，如果數據大部分為數字或者全是數值型數據的話，通過data.describe方法查看數據，能夠幫我們直觀的看到數據的整體情況，比如最大值、最小值、中位數等數據。

由於我們此次抓取的數據都是對象，所以呈現了上述的情況，不過我們依然可以看到數據共有450條，招聘的公司總數有308條，開出的工資條件總共有71種薪水範圍。

數據類型：

查看數據類型的重要一點，就是我們需不需要對數據類型進行轉換。

2.3 數據清洗

我們進行數據清洗，通常採用的方式：

1. 刪除空值數據；
2. 去除重複值數據；
3. 刪除異常值數據；
4. 刪除包含某個關鍵詞的數據或者不包含某個關鍵詞的數據。

我們此次採取的是刪除包含某個關鍵詞的數據：

2.4 對數據進行可視化理解

通常我們的數據可視化包含：

1. 分佈直方圖
2. 箱線圖
3. 線性圖
4. 餅圖
5. 詞雲

matplotlib包含了豐富的圖表，大家可以到官網上去選擇自己需要用到的圖表。（matplotlib: https://matplotlib.org）

我們此次用到的首先是餅圖，查看全國主要城市，對於AI產品經理的招聘情況：

① 全國主要城市AI產品經理的招聘情況：

城市：

• 上海 82
• 東莞 1
• 佛山 1
• 北京 153
• 南京 12
• 南寧 1
• 廈門 11
• 合肥 5
• 天津 3
• 寧波 2
• 常州 1
• 廣州 51
• 成都 3
• 杭州 64
• 武漢 12
• 濟南 2
• 深圳 14
• 珠海 2
• 石家莊 1
• 蘇州 11
• 西安 4
• 貴陽 1
• 鄭州 4
• 重慶 3
• 長沙 5

從數據來看：北京AI產品經理招聘崗位153個，上海82個，杭州64個，廣州51個。通過地理分佈來看，AI產品經理作為一個新的產品經理品種，仍是集中在北上杭廣三大地區。

② AI產品產品經理工資情況：

AI產品經理工資平均數為16K，25%的夥伴能拿到19K，最高是55K，而最低僅有3K，平均工資在16K左右。由此來看，AI產品經理是產品經理這個種群中高收入的人群，產品經理雖然散步在互聯網行業的各個角落，但是AI產品經理目前主要分佈在並且集中在使用大數據、機器學習、深度學習、智能家居、車聯網等與前沿技術相關聯的公司。雖然技術的發展，AI產品將是一個新的增長極。

從工資的分佈直方圖來看，主要工資集中在15-20K左右居多，其次為10K-15K左右。從抓取的數據來看，多數工資的構成仍然是普通產品經理崗位的工資，10K-15K左右為數據產品經理的薪資範圍，15-20K是真正屬於AI產品經理的崗位薪資。

③ 職位福利：

我們將職位福利這一列的數據彙總，按照詞頻生成詞雲。可見五險一金在職位福利裡出現的頻率最高，其次是平臺，工作氛圍、年終獎、期權等。

④ 學歷要求：

從數據來看，R-squared的值為0.185，說明工作經驗和學歷僅僅解釋了工資變異性的18.5%。

這一點其實比較好理解，因為我們抓取的數據中，title其實主要仍然是普通產品經理的崗位工作，普通產品經理的崗位工作、數據產品經理，AI產品經理的實際工作內容差異還是比較大的。

普通產品經理主要仍然是進行產品原型設計和完成三大文檔的工作；數據行產品經理可能會經常使用Python、R等工具進行工作；AI產品經理將設計NLP、MPL等方面的工作。另外，各個公司的規模和它願意開出的工資也不盡相同。

從這次數據分析來看，Kevin是不是對去從事AI產品經理充滿了信心呢？

Kevin，我們今天看了AI產品經理的崗位需求和企業招聘情況，我們下次聊聊關於AI產品經理在思維上和普通產品經理崗位有著怎樣的不同。請關注《產品經理AI指北（二）：AI產品經理思維6頂思考帽》

作者：John_Ren，微信公眾號：產品經理與增長黑客，id: pmgrowth

本文由 @John_Ren 原創發佈於人人都是產品經理。未經許可，禁止轉載

題圖來自 Unsplash，基於 CC0 協議

閱讀更多 人人都是產品經理 的文章

關鍵字: 經理 抓取 我們