背景
爬蟲形勢
Web安全形勢一直不容樂觀, 根據 Globaldots的2018年機器人報告 , 爬蟲佔據Web流量的42%左右.
為什麼要反爬
防資源過度消耗
大量的機器人訪問網站, 設想你的網站有42%的流量都不是真的人訪問的. 相當一部分還會大量佔用後臺的網絡帶寬, 服務器計算, 存儲資源.
防黃牛黨
航空公司佔座: 黃牛黨利用惡意爬蟲遍歷航空公司的低價票，同時批量發起機器請求進行佔座，導致航班座位資源被持續佔用產生浪費，最終引發航班空座率高對航空公司造成業務損失，並且損害正常用戶的利益。
防薅羊毛黨
黃牛黨在電商活動時針對有限的高價值商品的限時秒殺、優惠活動等可牟利場景，批量發起機器請求來模擬正常的交易，再將商品、資源進行倒賣從中賺取差價，導致電商企業的營銷資源無法觸達正常用戶，而被黃牛牟取暴利。
防黑客
核心接口被刷: 登錄、註冊、短信等業務環節作為業務中的關鍵節點，相關接口往往會被黑客利用，為後續的欺詐行為作準備。
私信菜鳥007即可獲取數十套PDF！
為什麼需要日誌分析
找出隱藏更深的機器人
爬蟲與反爬蟲是一個攻與防的過程, 根據前述報告, 高級機器人佔據了74%的比例(剩餘是比較簡單的機器人), 而根據 FileEye M-Trends 2018報告 ，企業組織的攻擊從發生到被發現，一般經過了多達101天，其中亞太地區問題更為嚴重，一般網絡攻擊被發現是在近498（超過16個月）之後。有了日誌才能更好的找出隱藏很深的壞機器人.
瞭解機器人並區分對待
爬蟲也分好與壞, 搜索引擎來查詢, 才可以達到SEO效果並帶來更多有價值的訪問. 通過日誌可以幫助管理員更好的區分哪些是好的機器人, 並依據做出更加適合自己的反爬配置.
保留報案證據
發現非法攻擊的機器人, 可以保留攻擊者信息與路徑, 作為報警的重要證據.
增強運維效率
基於日誌可以發現異常, 並能快速報警並採取行動.
更多附加功能
依託日誌服務的其他功能, 可以發揮日誌的更大價值.
阿里雲反爬管理 - 實時日誌分析概述
阿里雲反爬管理
雲盾Anti-Bot Service是一款網絡應用安全防護產品，專業檢測高級爬蟲，降低爬蟲、自動化工具對網站的業務影響。 產品提供從Web、App到API接口的一整套全面的惡意Bot防護解決方案，避免某一環節防護薄弱導致的安全短板。
阿里雲日誌服務
阿里雲的日誌服務（log service）是針對日誌類數據的一站式服務，無需開發就能快捷完成海量日誌數據的採集、消費、投遞以及查詢分析等功能，提升運維、運營效率。日誌服務主要包括 實時採集與消費、數據投遞、查詢與實時分析 等功能，適用於從實時監控到數據倉庫的各種開發、運維、運營與安全場景：
目前，阿里雲WAF與日誌服務打通，對外開發Web訪問與攻擊日誌。提供近實時的網站具體的日誌自動採集存儲、並提供基於日誌服務的查詢分析、報表報警、下游計算對接與投遞的能力。
發佈地域
- 國內
- 國際
適用客戶
- 擁有大量優質與知識產權的視頻、圖片、文字載體的內容、教育、媒體、諮詢類網站。
- 面向大量優質客戶，並頻繁更新Web上金融、電商、服務信息的互聯網企業，如航空、政府、電商、金融網站。
- 擁有自己的安全運營中心（SOC)，需要收集安全告警等日誌進行中央運營管理的企業，如大型地產、電商、金融公司、政府類機構等。
- 擁有較強技術能力，需要基於雲上資產的日誌進行深度分析、對告警進行自動化處理的企業，如IT、遊戲、金融公司等。
功能優勢
反爬日誌實時查詢分析服務具有以下功能優勢：
- 配置簡單：輕鬆配置即可實現反爬訪問與攻擊日誌的實時採集。
- 實時分析：依託日誌服務產品，提供實時日誌分析能力、開箱即用的報表中心與自帶交互挖掘支持，從0到1, 讓您對網站業務的各種爬蟲攻擊狀況以及客戶訪問細節瞭如指掌。
- 實時告警：支持基於特定指標定製準實時的監測與告警，確保在關鍵業務發生異常時能第一時間響應。
- 生態體系：支持對接其他生態如實時計算、雲存儲、可視化等方案，進一步挖掘數據價值。
- 費用：免費提供14天實時訪問與攻擊日誌的存儲。
開通前提
- 開通日誌服務
限制說明
反爬管理所存儲的日誌庫屬於專屬的日誌庫，有如下限制：
- 用戶無法通過API/SDK等方式寫入數據，或者修改日誌庫的屬性（例如存儲週期等）
- 其他日誌庫的功能，例如查詢、統計、報警、流式消費等均支持與一般日誌庫無差別
- 日誌服務對專屬日誌庫不進行任何收費，但日誌服務本身需處於可用狀態（不超期欠費）
- 後期會升級併發布內置的報表.
使用場景
1.追蹤機器人爬取與封禁日誌，溯源安全威脅：
查看Top 100的爬取機器人列表:
__topic__: antibot_access_log AND (block_action:* AND NOT block_action: "") | SELECT if(real_client_ip='-', remote_addr, real_client_ip) as IP, (CASE WHEN ip_to_country(if(real_client_ip='-', remote_addr, real_client_ip))='香港' THEN '中國香港' WHEN ip_to_province(if(real_client_ip='-', remote_addr, real_client_ip))='' THEN '未知IP' WHEN ip_to_provider(if(real_client_ip='-', remote_addr, real_client_ip))='內網IP' THEN '內網IP' ELSE concat(ip_to_country(if(real_client_ip='-', remote_addr, real_client_ip)), '/', ip_to_province(if(real_client_ip='-', remote_addr, real_client_ip)), '/', if(ip_to_city(if(real_client_ip='-', remote_addr, real_client_ip))='-1', '未知城市', ip_to_city(if(real_client_ip='-', remote_addr, real_client_ip))), ' ',ip_to_provider(if(real_client_ip='-', remote_addr, real_client_ip))) END) AS "地理網絡", concat(cast(count(1) AS varchar), ' / ', cast(sum(if(block_action='antibot', 1, 0)) AS varchar)) AS "攻擊次數 / 爬蟲封禁", round(sum(request_length)/1024.0/1024, 2) AS "攻擊流量 (MB)" GROUP BY IP, "地理網絡" ORDER BY count(1) DESC LIMIT 100
2. 實時正常可信Web請求活動，洞察狀態與趨勢：
查看PV/UV訪問趨勢的SQL:
__topic__: antibot_access_log | select date_format(from_unixtime(__time__ - __time__% 3600), '%H:%i') as dt, count(1) as PV, approx_distinct(if(real_client_ip='-', remote_addr, real_client_ip)) as UV group by __time__ - __time__% 3600 order by dt limit 1000
3. 快速瞭解安全運營效率，即時反饋處理：
查看有效請求與攔截率趨勢的SQL:
__topic__: antibot_access_log | select date_format(from_unixtime(__time__ - __time__% 3600), '%H:%i') as dt, count(1) as "請求次數", round(sum(if(status < 400 and if((block_action <> ''), false, true), 1, 0))*100.0/sum(if(status < 500, 1, 0)), 1) AS "有效請求率(%)" group by __time__ - __time__% 3600 order by dt limit 10000
4. 輸出安全網絡日誌到自建數據與計算中心
進一步參考
我們會陸續發佈WAF安全日誌分析的最佳時間, 這裡可以進一步參考相關用戶手冊：
閱讀更多 菜鳥帶你學編程 的文章
