python scrapy怎麼用?

572610158


1.安裝anaconda,網上教程一大把,安裝無難度,而且這個安裝好之後,python自然就安裝好了;

2.安裝scrapy,利用anaconda安裝scrapy,anaconda是由可視化界面的,安裝scrapy非常簡單,uninstall裡搜索scrapy,點擊右下角install按鈕安裝即可,scrapy需要的各種依賴就都安裝好了,如果條件允許一定要用anaconda,不然scrapy的安裝之繁瑣,容易導致沒入門就放棄;

3.如果實在anaconda不好裝,出門左轉去裝pip,然後哦一步一步的安裝scrapy需要的所有依賴,耐心;

4.安裝好scrapy之後,cmd進入工程目錄,用下面兩句話創建項目

  • scrapy startproject 工程名

  • scrapy genspider 爬蟲名

5.看教程,分析網站,寫代碼,這當然是核心了,需要日積月累;

6.看結果,cmd進入工程目錄,用下邊一句話啟動爬蟲:

scrapy

crawl 爬蟲名

朋友加油,學好賺大錢,一起共勉!


一把勺子


既然提出這樣的問題,個人認為,還是對scrapy有點了解,至少聽說過scrapy的作用。scrapy是一個爬蟲框架。網絡爬蟲是指從互聯網上自動爬蟲相關的數據供爬取者使用。

scrapy是python中爬蟲框架最流行的框架之一,簡單易用、靈活易拓展

scrapy作為爬蟲框架,在python中深受歡迎,主要在於它本身的易用性、可拓展性和豐富、活躍的社區。使用scrapy可以高效地爬取我們想要網站的數據。大型的爬蟲程序應用在搜索引擎、廣告等領域,個人則一般爬取需要用的數據。

scrapy的整體結構,item、spider、pipeline

  • item主要用於描述希望爬取的數據信息;

  • spider主要是爬蟲的相關數據邏輯,用於提取數據和提取後續頁面的url;

  • pipeline可以理解為和數據存儲、轉化相關,當我們需要轉化一些數據格式,比如美元符號轉化成人民幣,就可以通過在此定義相關函數達到相應的目的,同時我們希望我們爬取的數據能夠永久地存儲在服務器中,就可以通過此定義相關的類、函數,達到存儲的目的。

scrapy的命令

  • scrapy startproject [projectname],通過這樣的命令就可以定義一個爬蟲;

  • scrapy crawl [projectname],就可以使爬蟲開始工作。

總之,scrapy爬蟲框架的使用還是比較方便的,當然,比較複雜的應用還需要我們花時間去研究,通過簡單的幾個命令就可以做一個爬蟲,scrapy讓爬蟲更加的方便。


Bean蠶豆


scrapy,著名的爬蟲框架。可以說學習python的人,肯定學習過或者想學習過爬蟲,而除了使用python基本api之外,使用scrapy是更好的選擇,因為框架已經把一些基本的,必須得東西都給考慮到了,不用重複製造輪子。學習scrapy,首先要對html,js,css等有一定的瞭解,畢竟你爬下來網頁了,還需要去篩選得到想要的內容。至於scrapy學習,則推薦去看官方的文檔,如果英語讀起來吃力,那麼可以看一下csdn等專業網站上的博客教程,只要成功爬了一次,那麼以後該怎麼繼續相信就不難了。


分享到:


相關文章: