flume上传到hdfs：
当我们的数据量比较大时，比如每天的日志文件达到5G以上
使用hadoop的put命令不稳定
后期考虑引入新的日志上传框架flume
source类：
exec 监控文件：tail -f /opt/apps/nginx-1.12.2/logs/access.log （nginx日志目录）
Spooling Directory 监控目录：spoolDir=/opt/apps/nginx-1.12.2/logs（nginx日志目录）
channel类：
memory: 比较吃内存，但是速度比较快，数据不安全
file：文件比较安全，但是传输速度较慢
sink类：
hdfs：离线分析以及数据备份
kafka：流式计算 storm/spark
1. 到flume的conf目录下
2. 写入内容
2.配置参数：参考之前到HDFS目录
3.运行
<code>bin/flume-ng agent -n a1 -c conf -f conf/put_nginxlog_hdfs.properties -Dflume.root.logger=INFO,console/<code>
也可以定义一个crontab定时调度
启动nginx
访问nginx
然后去hdfs上查看
日志已经上传到hdfs上了
分享到:
