日期:2014-05-17  浏览次数:20823 次

apache服务器查看网络爬虫记录的方法说明

:使用Apache服务器,如何查看哪些网站的蜘蛛来爬过自己的网站或者哪些IP访问过我们的网站呢?


:通过Apache服务器的访问日志记录!

?????

????? Apache服务器的访问日志名称在linux下默认叫做access_log,在windows下是access.log文件


如何配置 :在httpd.conf文件中配置这么两句话:

??????????????

LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog /home/admin/work/hz-jean/com.jean.deploy/logs/access_log common


第一句话的意思是定义日志的格式;第二句话是定义日志的存放地点


旧版本的(2.0以前的)Apache可能不用CustomerLog 而用transferLog


LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\""
TransferLog logs/access_log


如何查看访问日志




?

在IP地址查询中输入前面的IP ,查询器就可以帮你查到它的HOSTNAME了,比如百度蜘蛛,或者浙江省电信等