小碼聰聰 致力於將西南地區人才往一線城市運輸
爬蟲工程師的日常
兩週前我還在重慶，對自己的未來充斥著迷茫，而現在我已經在公司工作了一週。有很多人問我「爬蟲的工作都是做些什麼？」，既然是爬蟲的工作，那當然是去爬取一些網站的數據。我們公司爬蟲的框架都已搭建好了，所以平常爬蟲的任務還暫時不需要我。再者就是爬一些其他部門需要的數據，這類數據是來自一些小的網站。
至於工作上的爬蟲都需要用到哪些技術，這就看公司的要求。我們公司只要你能把對應的數據給我就好，不管你用什麼技術。但還是 scrapy、selenium 用的多，數據的存儲主要是用 mongodb 和 mysql。
還有讀者問過我「我最近看到一則新聞是一個人做爬蟲的工作，抓取別人的數據被法院判刑了。爬蟲的工作真的犯法嗎？」
爬蟲犯不犯法，看你抓取的數據是什麼內容。如果是一些網上公開可看的信息就不違法的。就這個問題我還專門去問了爬蟲領域的專家「崔慶才」，他給我的答覆是這樣的。
公開可查的就可以爬，這個就沒啥事。那些用某些特殊權限的賬號登陸才可見的就比較危險。還有必須破解才能爬的就構成犯罪了，另外都建議各種設置代理，一個反爬，一個隱藏真實 ip。
所以只要不去觸碰一些敏感未公開的數據，都是可以爬取。
深圳的夜景
回想起我第一次來深圳，還是我小學畢業那年，那時候才屁點大，什麼也不懂。10 之後大學畢業，我又一次來到深圳，物是人非，我逐漸長大，有了自己的思想，帶著自己的夢想。
來到深圳有兩週的時間了，對於深圳這座城市慢慢有了點認識。第一週我主要把精力放在找工作和找房子上。我到深圳第一件事就是找個落腳的地方，剛畢業沒有錢，所以我把區域鎖定在1 號線最後幾站的地鐵。之所以選擇1號線是因為這裡有深圳的科技園互聯網公司多，再者這裡寶安的租金也比較便宜。我現在租的房子一個月 2300，對於深圳來說已經是很便宜的價格了。
在如今的生活，你想要得到好的服務，一定是要花不少的錢。所以我租到一個便宜的房子，相應我得到的服務是非常的差。我租的地方離地鐵，需要走 10 分鐘。周圍的環境很一般，甚至擁擠，周圍都是握手樓。並且我那站還是人流量最大的一站，我非常清楚記得我第一天去上班的情景。
我公司在南區，離我租的地方需要坐地鐵 1 小時 20 分鐘的路程。第一天上班我肯定是不能遲到，公司是 9 點上班，所以我就預計早上我 7 點出發，2 小時的時間應該足夠了，天真的我就這樣安心裡德的就去睡覺。
第二天早晨我就感到了絕望，我的確是 7 點出發，到了地鐵站 7 點 15 分。發現地鐵早已站滿了人，我只能慢慢的等待。而到站的地鐵裡也全是人，此時的地鐵只能在容納兩三個人。而這兩三個幸運兒，都是靠門最近的，被後面的人群活生生擠上去，根本就不用自己走動。
在這期間我等了 3趟的地鐵無一例外，全是這種情況。中途有個女生都被裡面擁擠的環境給弄哭，但身邊的人全是一臉冷漠，甚至有點厭煩女生的哭聲，吵到大家，或許大家早已習慣。
最後我遲到了，遲到了 5 分鐘左右。原本 1 小時的路程，我花了 2 小時，非常多的時間花在了排隊等待。
第二天我改變了策略，為了不在擁擠的坐地鐵，我每天都 6 點起床。這時候我的作息就變成 6 點起，晚上 8 點才到租的地方，這就是我現在的生活。這樣的作息對於我來說很累，但生活並會不去理會你。適者生存，你適應不了你就會被淘汰。
大城市遍地是機會，但遍地也是生存的壓力。路邊的行人都是加速行走，生怕錯過任何機會。
幸運的是來到深圳我結識了很多朋友，其中一位是「Python」的大拿，林老師。來到深圳第一週，我們兩就面基了一波，他是在重慶工作，偶爾來深圳出差搞技術的人，非常好相處的一位大帥哥，期間我們找了一家火鍋店就聊了起來。我們兩性格非常相似，都是很隨和。聊的很開心，雖然他比我大幾歲，但完全沒有隔閡感。
林老師是一名非常厲害的大佬，從零開始奮鬥起來的，曾任麥子學院 MongoDB 特邀講師 ，神舟數碼 Python 負責人，海量數據學院 Python 金牌講師，專注於 Python / 運維開發 /數據庫/ Web 應用。
如今他正式加入小碼聰聰
小碼聰聰 致力於將西南地區人才往一線城市運輸
期待與您 攜手創建輝煌
閱讀更多 小碼聰聰 的文章
