2020-02-17 09:01:16 咪哥雜談

前言

這幾天在用“必應”搜索時，發現必應的背景圖片挺好看的，有的是風景，有的是動物。。。於是產生了一個想法，爬下來當做桌面背景圖吧。。

由於是每天必應的圖片都會變，所以後續結合電腦自帶的定時任務，可以達到每天自動抓取圖片的效果。

開工

簡單的分析下：必應首頁。

打開 F12 ，找到對應的請求，可以很容易的看到有這麼個鏈接，然後點一下，就會新打開一個頁面，此時顯示的就是背景圖片。

如何下載呢？其實很簡單，說下邏輯。

requests庫請求主頁，正則匹配地址，再用 requests 請求，將返回的 content 以二進制的形式寫入文件，保存為圖片。

核心代碼：

<code>url = 'https://cn.bing.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) '
                  'AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Safari/605.1.15'
}
r = requests.get(url=url, headers=headers)
# 正則匹配到 url 地址
a = re.findall(r'rel="preload" href="(.*?)" as="image"', r.text)
if a:
    # 拼接 https://cn.bing.com/xxxxxx圖片的地址
    picture_url = parse.urljoin(url, a[0])
    print(f'當前圖片地址：{picture_url}')
    r_picture = requests.get(url=picture_url, headers=headers)
    write_file(file, r_picture.content) # 寫入文件/<code>

執行後的結果：

主要是正則表達式，如何書寫，匹配出來，用 urllib 的 urljoin 方法拼接下圖片地址即可。可以看下核心代碼的相關注釋。

定時任務

Python代碼一共 25 行，關鍵是如何利用系統定時來製造每天觸發的效果。

windows系統：

如果你是 windows 環境，推薦看下這篇博客，之前是我總結的如何用 windows 定時執行 Python 文件。

https://blog.csdn.net/s740556472/article/details/78239204blog.csdn.net

Mac / Linux 系統：

瞭解 Linux 系統的同學，一定知道有個自帶的系統工具，叫 crontab。

使用方法，兩個。

編輯 crontab ：

<code>crontab -e/<code>

回車後，進入內容，用法和 vim 一樣，按下 i 即可編寫，然後 wq 保存。

<code>0 10 * * * /Users/sy/anaconda3/bin/python /Users/sy/PycharmProjects/python-tools/spider/bing_picture/crawl_bing.py > /Users/sy/PycharmProjects/python-tools/spider/bing_picture/log/<code>

第一段，是cron特有的時間配置表達式，可以看下圖的簡介，順便給大家一個網址，可以在線查看其表達式的含義。而我腳本中寫的則是每天十點整執行 Python。