文章目錄

• 數據獲取與清理
• 安裝apache_log_parser庫
• log日誌解析格式
• 解析第1條日誌記錄
• 批量讀取日誌記錄
• 日誌清理與保存CSV
• 日誌狀態碼與流量分析
• 日誌狀態碼分析
• 日誌流量分析

數據獲取與清理

安裝apache_log_parser庫

支持解析日誌行的庫文件，如果本地已經配置好python環境, 建議採用pip命令來安裝

log日誌解析格式

詳細的日誌解析格式請參考：https://www.cnblogs.com/wajika/p/6605939.html，而我們用到的日誌參考格式如下：

1. %V 服務器名稱
2. %h 遠端主機
3. %l 遠端登錄名
4. %u 遠程用戶名
5. %t 時間，用普通日誌時間格式(標準英語格式)
6. %r 請求的第一行
7. %s 狀態。對於內部重定向的請求，這個狀態指的是原始請求的狀態, %>s則指的是最後請求的狀態
8. %b 以CLF格式顯示的除HTTP頭以外傳送的字節數，也就是當沒有字節傳送時顯示’-'而不是0
9. %Referer: 一般會帶上Referer，告訴服務器該網頁是從哪個頁面鏈接過來的 %i: Foobar的內容，發給服務器請求的標準行
10. %T 處理完請求所花時間,以秒為單位。

解析第1條日誌記錄

解析的結果如下

批量讀取日誌記錄

日誌清理與保存CSV

日誌狀態碼與流量分析

日誌狀態碼分析

狀態碼分析柱狀圖

狀態碼分析折線圖

日誌流量分析

整體流量分析折線圖

2H採樣的流量圖

閱讀更多 樂上輕至 的文章

關鍵字: 清理 Python 可視化技術