日期:2014-05-16 浏览次数:20790 次
有时候,我们要简单统计下一个文件中包含某个特殊字符串的行数。
我第一个想到的是grep + wc,不知道你想到了什么,不过,我们确实有多种方法。
?
假如我们的文件叫msg,里面有23380092行数据。
某些行是这样的receive: msg1
我们的任务是找出这些行的数量。
?
1. grep方法
grep ' msg1' msg | wc -l
使用这种方法耗时: 1s
?
2. awk方法
awk 'BEGIN{c=1}{if($0 ~ / msg1/) c=c+1}END{print c}' msg
使用这种方法耗时:8s
?
3. 另一种awk方法
awk 'BEGIN{FS=":";c=0;}{if($2 == " msg1") c=c+1}END{print c}' msg
使用这种方法耗时:14s
?
4. 文件描述符打开文件遍历
#!/bin/bash count=0; exec 4<msg while read line<&4 do if [ "$line" == "receive: msg1" ]; then count=$((count+1)) fi done exec 4<&- echo $count;
?我日,这种方法我跑了N久都没有出结果,效率差到无法忍受。
当然脚本本身的正确性,是通过小文件测试过得。
?
以上几种方法,grep的效率简直神了。这么多数据筛选出来,再有wc统计之后,一共只需要1秒。
而采取自己遍历文件的方法,无论是awk还是自己写脚本打开文件,效率都极差。
?
看来,我们还是懒一点的好。呵呵。