全国热线电话:0371-53761661 18003717892
 当前位置:首页 > 网站优化
 网站优化文档
如何查看搜索引擎蜘蛛是否访问过网站?
2012-5-14 18:34:13    作者:missile

 

作为站长都很关心自己的网站被各大收录引擎收录多少,那么百度和谷歌蜘蛛究竟有没有来过呢?

如果你是本地服务器,请查看日志文件,如access.log
如果你是虚拟主机,登录空间管理页面,看控制面板是否有相关日志.如果没有找到,你可以联系你的服务商.

日志格式一般是:

220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"这就说明百度蜘蛛来过你的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,我的就查到sogou也来过我的站,IIS日志与Apache的日志是一样的,都可以查到。

补充一点,百度蜘蛛并不完全遵守这个规则,有的时候是匿名抓取.

Tianxiaxian Network Technology All Rights Reserved.