我们先看我们的日志文件
查看下，这就是我们的日志信息，我们可以设置日志格式从而得到不同的信息。
我们现在有一个日志数据nginx_log,里面有十一个字段
" 122.228.208.113"
"-"
"31/Aug/2015:00:04:37 +0800"
"GET /course/view.php?id=27 HTTP/1.1"
"303"
"440"
-
""
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"
"-"
""
我们可以从网上找到很多nginx日志信息说明
根据nginx日志说明，分析上面的日志信息nginx_log
那我们来分析这个日志信息，流程是
1、需求分析
2、数据采集
3、数据清洗（ETL阶段、字段截取、格式转化）
自定义UDF
自定义Java类，手写MR程序，用于过滤判断
4、数据分析（计算、处理）
5、结果导出（sqoop）
6、数据可视化展示
因为我们已经有日志数据了而且格式是按照标准分析的，所以我们直接将数据放到hive中，默认已经采集完成了，需要加载到hive中。
创建数据库
create database nginx_log;
创建表
create table IF NOT EXISTS nginx_log_ori (
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
stored as textfile ;
将数据上传
导入数据
load data local inpath '/data/test/access.log' into table nginx_log_ori ;
我们查看下数据会发现，数据不是十一个，而是八个，就是因为数据有空格，分隔符等问题，导致数据加载不全，需要用正则表达式等方法解决。
hive官网
我们来使用
首先使用了一个序列化的java类
org.apache.hadoop.hive.serde2.RegexSerDe
(1)、用户可以自定义写一个Java类
(2)、打成jar添加hive环境变量中
(3)、可以自己调用
再使用正则表达式匹配文本的当中每一个字段
一些基本知识：
\\转义字符
()作用域（字段）
[] 字符集合
| 或
"^ " 非空格的多位字符
^\\ ^\\\\ 非斜杠的多位字符
^} 非大括号的多位字符
· 可能是字符串，可能是没有的
.* 所有字符
[0-9] 数字字符
那我们可以对十一个字段进行正则匹配
(\"[^ ]*\") (\"-|[^ ]*\") (\"[^}]*\") (\"[^}]*\") (\"[0-9]*\") (\"[0-9]*\") (-|[^ ]*) (\"[^ ]*\") (\"[^}]*\") (\"-|[^ ]*\") (\"[^ ]*\")
重新创建表
CREATE TABLE nginx_log_reg(
remote_addr string,
remote_user string,
time_local string,
request string,
status string,
body_bytes_sent string,
request_body string,
http_referer string,
http_user_agent string,
http_x_forwarded_for string,
host string
)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "(\"[^ ]*\") (\"-|[^ ]*\") (\"[^}]*\") (\"[^}]*\") (\"[0-9]*\") (\"[0-9]*\") (-|[^ ]*) (\"[^ ]*\") (\"[^}]*\") (\"-|[^ ]*\") (\"[^ ]*\")"
)
STORED AS TEXTFILE;
导入数据
load data local inpath '/data/test/access.log' into table nginx_log_reg ;
接下来进行数据清洗（ETL阶段、字段截取、格式转化）
分析：
（1）双引号对于数据分析没有太多的作用，就可以考虑去除双引号
（2）时间字段的格式转换，比如"31/Aug/2015:00:04:37 +0800"转换为2015-08-31 00:04:37 或者 20150831000437
（3）对于某些字段进行优化 ，去除不必要的部分 比如："GET /course/view.php?id=27 HTTP/1.1" 截取为 course/view.php
这样可以查看页面的访问流量，统计数据 ，或者做网站基本的流量分析统计（用户行为数据：点击、搜索）
（4）获取当前页面的前一个页面，也就是链入地址
（5）客户端信息：获取用户用的浏览器版本，用户的操作系统，版本
主要掌握思路，这里根据之前所学，完成衣蛾自定义日期格式转换 UDF
创建类
完成代码
主方法测试下
导出jar包
上传包
将包导入
add jar /data/test/hiveconvdate.jar;
创建函数
create temporary function pdate as 'com.xlglvc.xxx.mapredece.hiveudf.TestDataFormat';
查询数据
select pdate(time_local) from nginx_log_reg limit 10;
閱讀更多 分享電腦學習 的文章
