多線程爬取騰訊視頻:應用深度學習(台大陳蘊儂&李宏毅)

因you-get下載失敗,故自寫代碼下載。

一、谷歌瀏覽器打開《應用深度學習》騰訊視頻網址。

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

二、右鍵審查視頻,尋找視頻xpath。

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

1. 先導入模塊,Python代碼如下:

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

2.解析網頁,提取視頻列表地址多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

三、隨意打開一個視頻,比如part21

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

谷歌瀏覽器按F12,點擊clear,勾上Preserve Log,點擊Media

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

按F5刷新網頁,隨意拖幾次進度。

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

上圖實際視頻地址,經測試可只保留參數vkey

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

顯然需要尋找vkey。

四、獲取vkey的兩種方法

1. 查看XHR,可發現fvkey = vkey。

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

查看參數構成,下XHR斷點跟蹤,最終可定位關鍵ckey的生成

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

反寫以上代碼即可。

2. 閱讀you-get的qq.py源碼,可發現

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)

把url稍稍修改,在瀏覽器打開,成功獲取fvkey。

五、down_qqvideo代碼如下

多線程爬取騰訊視頻:應用深度學習(臺大陳蘊儂&李宏毅)


分享到:


相關文章: