新站或网站收录有问题时,就会可能需求连续的搜索引擎蜘蛛的抓取环境。网站文章不收录时,第一时间就是要看看网站蜘蛛抓取的日志,但经过访问效劳器的方式查看蜘蛛日志有点费事,我们能够用wordpress插件蜘蛛记录插件或代码日志来查看!
wordpress插件
wordpress蜘蛛统计插件Spider Analyser,最好的蜘蛛分析系统
插件概述Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛匍匐日志,并停止细致的蜘蛛匍匐数据统计、蜘蛛行为剖析、蜘蛛爬取剖析及伪蜘蛛拦截等。
1.蜘蛛概略
支持查看网站日常各大搜索引擎蜘蛛来访的数据;
今日蜘蛛-便当站长快速理解当日、昨日及30天均匀的来访蜘蛛数、爬取URL数及均匀爬取URL数。趋向图-支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量及爬取URLs均值走势折线图,并可查看上一周期数据,以作比照剖析。Top10蜘蛛-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。Top10蜘蛛爬取URL-支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比,便当站长对抢手蜘蛛爬取页面URL停止剖析。2.蜘蛛日志
支持按今天、最近7天及最近30天查看蜘蛛日志,包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛称号等参数。
插件装置方式1:在线装置(引荐)
1. 进入WordPress仪表盘,点击’插件-装置插件’,关键词搜索’Spider Analyser’,找搜索结果中找到’Spider Analyser’插件,点击’如今装置’;2. 装置终了后,启用 `Spider Analyser` 插件.3. 经过仪表盘左侧菜单’蜘蛛剖析’即可查看蜘蛛概略及蜘蛛日志.

代码
1.WordPress将以下代码复制主题functions.php文件中
// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}
2.创建robotslogs.txt文件
在网站根目录下创建 robotslogs.txt 文件可写权限,最好是:777或755权限!
在完成上面的步骤之后,查看蜘蛛日志
访问域名+robotslogs.txt即可!https://域名/robotslogs.txt
2- 本站永久网址:https://5igx.com
3- 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请发邮箱zhuzhuyewu@163.com进行删除处理。
4- 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5- 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
6- 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
暂无评论内容