日期:2014-05-16  浏览次数:20518 次

用SED+AWK来分析NGINX日志!

?用SED+AWK来分析NGINX日志!
2010-01-28 16:40:30
标签:SED?NGINX?AWK
原创作品,允许转载,转载时请务必以超链接形式标明文章?原始出处?、作者信息和本声明。否则将追究法律责任。http://storysky.blog.51cto.com/628458/271560
? 前几天写了篇文章是用AWK 来过滤NGINX 日志里面的特定值,但是光过滤出来了不行,还得要用啊,开发同事给我提出了新要求。让我统计 9:30~13:30 和13:30~17:30的这两个时间段每个小时的动态请求数,还有上面两个时间段里的 “action=xxxxx”这个值的种类和每种action的数量~~~,要求还真不少!
??
?说起来复杂其实做起来挺简单的,只要理清思路就好了!让我们先来解决第一个问题,每小时的动态请求数,我再看下NGINX日志的格式
??118.203.20.3 - - [16/Jan/2010:05:00:01 +0800] "POST /design/game.php HTTP/1.1" "check=085af328d69bd499fe47c4f484ea5dfb&cid=0&cuid=419884&oid=4&timestamp=1263589204&action=researchOre" 200 277 "http://www.ime.com/design/flash/main.swf?v=430/[[DYNAMIC]]/1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727)" -
?因为我们的动态请求都是通过php来完成的,所以我只要过滤出包含.php的行就可以了,时间段的选取可以交给?SED来做,数量统计用?uniq -c?,好了开工吧!
?sed -n "/2010:13:30:00/,/2010:17:30:00/"p access_2010011605.log | awk -F: '/'.'php/{print $2}' |uniq -c
?168576 13
?301975 14
?285616 15
?299248 16
?154377 17
?因为日志比较大,所以时间稍微长了点,不过目的达到了,至于9:30~13:30直接改上面的时间就好了,在这里感谢下 给我提供帮助的三门同学;
?下面我们再看看09:30~13:30这段时间的 每种 acti