小千开发日记：谷歌蜘蛛不遵循 Robots.txt 的解决办法

谷歌取消对Robots.txt Noindex指令的支持！谷歌正式宣布：GoogleBot【谷歌蜘蛛】将不再遵守Robots.txt的索引指令。依赖robots.txt noindex指令的出版商必须在2019年9月1日前删除该指令，并开始使用替代指令。百度后得到的结果，原因：Robots.txt Noindex为非官方指令。谷歌过去曾支持过这个robots.txt指令，但以后将不再支持了。

网站被谷歌蜘蛛频繁抓取，经过百度那么一通，才发现，原来谷歌在2019年9月1日以后，就开始停用了robots.txt规则的用法，难怪小千使用robots.txt文件禁止谷歌蜘蛛抓取，还是无果，谷歌蜘蛛依然是频繁的抓取。为此，小千只能想一些用代码解决的方式，能用代码解决问题，哪里还需要什么robots.txt文件规则，下面小千自己上代码。

$useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
if (strpos($useragent, 'Googlebot')!== false){
    $bot = 'hrefaaa';
} elseif (strpos($useragent,'YandexBot') !== false){
    $bot = 'hrefaaa';
} elseif (strpos($useragent,'Bytespider') !== false){
    $bot = 'hrefaaa';
} elseif (strpos($useragent,'Bingbot') !== false){
    $bot = 'hrefaaa';
} else {
    $bot = 'href';
}
//echo $bot;

你看上面这个代码，百度来的，是判断搜索引擎，然后非谷歌蜘蛛、俄罗斯蜘蛛、头条蜘蛛、必应蜘蛛的时候，都显示 hrefaaa 代码，非这些搜索引擎蜘蛛的时候，才显示 href 代码。

我们都知道，蜘蛛抓取链接，都是靠 href="" 标签的，你要是把 href 改为其它的，比如 hrefaaa="" 标签，类似这种神马鬼字符的，蜘蛛根本无法识别，也就是无法抓取你的链接了。当你不想让搜索引擎抓取的时候，你就可以这么干了，这个真的是我能想到减轻服务器压力的最佳方法。

发挥你的想象，可以把这代码，用得更加丰富。毕竟，动态、伪静态的网站，才需要这种禁止蜘蛛抓取，要是静态网站的，根本不存在抓取频次过高这一说法，要是存在，那就是你的服务器，真的得要升级配置了。

以上便是小千给大家分享的小千开发日记：谷歌蜘蛛不遵循 Robots.txt 的解决办法，希望对大家有所帮助，如果想了解更多网站优化、SEO教程，请关注小千资源网吧~

建站教程2023-02-25