多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

因you-get下载失败,故自写代码下载。

一、谷歌浏览器打开《应用深度学习》腾讯视频网址。

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

二、右键审查视频,寻找视频xpath。

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

1. 先导入模块,Python代码如下:

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

2.解析网页,提取视频列表地址多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

三、随意打开一个视频,比如part21

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

谷歌浏览器按F12,点击clear,勾上Preserve Log,点击Media

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

按F5刷新网页,随意拖几次进度。

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

上图实际视频地址,经测试可只保留参数vkey

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

显然需要寻找vkey。

四、获取vkey的两种方法

1. 查看XHR,可发现fvkey = vkey。

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

查看参数构成,下XHR断点跟踪,最终可定位关键ckey的生成

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

反写以上代码即可。

2. 阅读you-get的qq.py源码,可发现

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)

把url稍稍修改,在浏览器打开,成功获取fvkey。

五、down_qqvideo代码如下

多线程爬取腾讯视频:应用深度学习(台大陈蕴侬&李宏毅)


分享到:


相關文章: