隨著網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰，為了解決上述問題，定向抓取相關網頁資源的爬蟲技術應運而生。所謂網絡爬蟲(web crawler，又被稱為網頁蜘蛛、網絡機器人、網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
隨著網絡爬蟲行為被廣泛應用，及快播案帶來的“技術中立”不再成為藉口，其犯罪邊界慢慢成為互聯網爭議的熱點，尤其是在大數據時代，隨著數據價值的日益凸顯，這類案件也越來越多。
“網絡爬蟲”刑事案件主要集中涉及以下幾個（類）罪名：
一、侵犯公民個人信息罪
對於“網絡爬蟲“是否觸犯侵犯公民個人信息罪核心在於客觀方面是否有非法獲取公民個人信息的行為。可以從形式和實質兩個方面進行認定。
（一）形式方面
1、是否違反國家法律、行政法規、部門規章等有關規定
根據《刑法》第253條之一的規定，構成侵犯公民個人信息罪，必須是“違反國家規定“的行為。根據《最高人民法院、最高人民檢察院關於辦理侵犯公民個人信息刑事案件適用法律若干問題的解釋》第2條的規定，違反國家規定包括違反法律、行政法規、部門規章有關公民個人信息保護的規定的。因此，違反《網絡安全法》、《信息安全技術個人信息安全規範》、《電信和互聯網用戶個人信息保護規定》、《關於加強網絡信息保護的決定》等法律、行政法規、部門規章有關公民個人信息保護的規定的都屬於違反國家規定。
2、是否違反爬蟲協議，是否存在破解反爬措施
爬蟲協議又名Robots協議，“是網站所有者通過位於置於網站根目錄下的文本文件Robots.txt，提示網絡機器人哪些網頁不應被抓取，哪些網頁可以抓取”，凡是沒有被該協議排除的數據則屬於網絡上公開的可以爬取的數據。另外，被Robots協議所排出的數據一般都會採取反爬措施，但非法爬蟲行為為了順利達到爬取海量數據的目的，往往會針對這些反爬措施進行破解，然後進行強行或者暴力爬取，因此，當使用爬蟲技術違背Robots協議或破解反爬措施非法獲取公民個人信息時，即可認定為“以其他方法非法獲取公民個人信息”的行為。
（二）實質方面
1、是否在權限許可範圍內使用爬蟲行為
如果行為人在未經用戶同意的情況下大量抓取用戶的個人信息，則有可能構成非法收集個人信息的違法行為；但如果行為人在權限許可範圍內使用爬蟲行為獲取公民個人信息的，由於沒有突破許可權限，不屬於“非法”，不應認定為犯罪。
2、獲取的個人信息是否能識別特定自然人身份
侵犯公民個人信息罪中的“公民個人信息”是指能識別公民個人身份情況的信息，因此，如果行為人採取爬蟲行為非法收集的如果是無法識別特定自然人身份的公民個人信息，即便爬蟲行為性質上非法，也不構成犯罪。
二、計算機、網絡類犯罪
“網絡爬蟲”觸犯的計算機、網絡類的犯罪主要是非法侵入計算機信息系統罪和非法獲取計算機信息系統數據罪。
根據《刑法》第285條的規定，違反國家規定，侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統，即構成非法侵入計算機信息系統罪。因此，行為人使用爬蟲技術一旦侵入國家事務、國防建設、尖端科學技術領域的計算機信息系統，即使未獲取數據，也構成非法侵入計算機信息系統罪。
如果爬取上述系統以為的計算機系統數據的，則構成非法獲取計算機信息系統數據罪，這裡需要注意的是，必須要存在獲取數據且情節嚴重的情形，才構成非法獲取計算機信息系統數據罪。司法實務中，對於使用爬蟲技術是否構成非法獲取計算機信息系統數據罪主要根據數據和信息的具體保護措施，圍繞數據安全性是否有保護的必要性來進行認定。“網絡爬蟲”刑事第一案承辦法官在《使用網絡爬蟲獲取數據行為的刑事責任認定》一文中對此進行了詳細的論述。
三、“套路貸”類犯罪共犯
《關於辦理“套路貸”刑事案件若干問題的意見》規定：明知他人實施“套路貸”犯罪，具有以下情形之一的，以相關犯罪的共犯論處，但刑法和司法解釋等另有規定的除外：出售、提供、幫助獲取公民個人信息的。公安部11月14日在京召開新聞發佈會，通報全國公安機關開展“淨網2019”專項行動工作情況及典型案例。其中提別提到，公安機關將對“套路貸”違法犯罪活動繼續保持高壓嚴打態勢，對網絡“套路貸”犯罪涉及的技術服務商、數據支撐服務商、支付服務商、推廣服務商等進行生態式、全鏈條打擊。特別是對涉及的明知是“套路貸”卻仍為其研發系統平臺和App的科技公司、為“套路貸”進行網上推廣的網站和平臺、為非法獲取公民個人信息提供數據支撐的數據公司、為“套路貸”開通資金結算渠道和提供支付服務的第三方支付公司，公安機關將依法查處、嚴厲打擊，絕不姑息。
因此，“網絡爬蟲”不僅會觸犯侵犯公民個人信息罪、計算機網絡類犯罪，在目前全鏈條打擊套路貸的高壓態勢下，一旦將通過“網絡爬蟲”獲取的公民個人信息等數據出售、提供給相關“套路貸”行為人的，即使爬取的數據不違反國家規定、在權限的範圍內，也會被認定為“套路貸”類犯罪的共犯。“套路貸”類犯罪，主要涉及詐騙、敲詐勒索、非法拘禁、虛假訴訟、尋釁滋事、強迫交易、搶劫、綁架等多種犯罪。
