如何禁止蜘蛛抓取链接,小千个人博客网站出品

摘要:怎样限制蜘蛛爬取外链,用 rel='nofollow'、onclick=''、href='javascript:void(0);'、href='javascript:;' 等根本没用,犹如掩耳盗铃,让它不爬取我规定的链接,答案解析尽在小千个人网站。

作为一个站长,管理维护一个网站,我想大家都或多或少的,都会遇到一些令人头疼的事情吧。比如讲,网站不收录、蜘蛛不抓取、网站没流量、网站没排名、网站没单子、网站等等各种因素,这是作为站长的各种烦恼,整天都在因为网站而闹心。

下面,小千就遇到了一件不按套路出牌的事情。比如,网站引用外链,对于站长的我们,就不想蜘蛛爬取这个外链,让它不爬取我规定的链接。就会用一下标签作为限制,经常用到的有 rel='nofollow'、onclick=''、href='javascript:void(0);'、href='javascript:;' 等标签根本没用,犹如掩耳盗铃,蜘蛛照样是正常抓取,下面直接举例说明下。

蜘蛛能抓取的外链

<a rel="nofollow" href="http://nikucms.com/">小千个人博客</a>
<a rel="nofollow" href='javascript:;' onclick="window.open('http://nikucms.com/','_blank');">小千个人博客</a>
onclick="window.open('http://nikucms.com/','_self');"
onclick="window.open('http://nikucms.com/','_blank');"
onClick="window.open('http://nikucms.com/');"
<a rel="external" href="http://nikucms.com/">小千个人博客</a>
<a rel="noopener nofollow" href="http://nikucms.com/">小千个人博客</a>
<a rel="nofollow" href='javascript:;' onclick="window.open('http://nikucms.com/','_blank');">小千个人博客</a>
<span onclick="window.open('http://nikucms.com/','_blank');" style="cursor:pointer;"><a rel="external" href='javascript:void(0);'>小千个人博客</a></span>
<li onclick="window.open('http://nikucms.com/','_blank');" style="cursor:pointer;"><a rel="nofollow" href='javascript:;'>小千个人博客</a></li>

对于 nofollow 和 href='javascript:void(0);'、href='javascript:;'  等标签,根本都是无用之功。像这种,A标签里面,包含 href 标签的链接,蜘蛛都会抓取、都能正常的抓取。

蜘蛛不会抓取链接

<span onclick="window.open('http://nikucms.com/','_blank');" style="cursor:pointer;"><a rel="external" style="cursor:pointer;">小千个人博客</a></span>
<li onclick="window.open('http://nikucms.com/','_blank');" style="cursor:pointer;"><a rel="nofollow" style="cursor:pointer;">小千个人博客</a></li>
<div onclick="window.open('http://nikucms.com/','_blank');" style="cursor:pointer;"><a rel="nofollow" style="cursor:pointer;">小千个人博客</a></div>

类似这样的链接,没有 href 标签的,就算是有 onclick 标签可以打开,可以点击,蜘蛛也不会抓取,你的这个onclick的链接。所谓的网上说,蜘蛛能识别 onclick 标签,其实都是言传和辟谣罢了。

这样写的form也能抓取

<form name="search" action="/aw/search.php" method="post">
  <input type="text" id="wd" name="q" value="" placeholder="关键词宁少勿措!"/>
  <div class="submit" id="submi" type="submit"> <a class="btninnier" href="javascript:void(0);" rel="noopener nofollow">全网搜</a> </div>
</form>

类似这种,A标签里面有个 href="javascript:void(0);" 或者是 href="javascript:;" 的,这种都是照抓不误的,抓取的链接,当然就是 action="/aw/search.php" 了,空关键词搜索,套路,套路,绝对是套路。

禁止蜘蛛抓取的方法

看《如何禁止蜘蛛抓取外链,用nofollow标签就是摆设》一文,小千提供了两个方法,反正就是,a标签里面,不要使用 href 标签,然后,onclick标签也可以使用JS的形式传值,像这样的情况下,蜘蛛就不会抓取链接了。

实现onclick链接加密的方法

一般来说,onclick事件的链接,在新窗口打开,在本窗口打开,只要是手动点击,不是自动批量打开的,均不会被浏览器拦截。虽然,onclick能在某种情况下能避免蜘蛛抓取,但是,想要在onclick里面的链接加密,一般,默认的onclick标签是没法实现的,要想不按路子出牌,也是可以实现链接加密效果的,方法如下。

看《实现onclick链接加密的方法,答案解析尽在小千个人博客网站》一文,小千昨天在研究的时候,就是想把打开的链接,比如 href标签和 onclick标签给改名了,结果花了一小时,做出这种让人发笑的半成品,效果和onclick标签还是一样一样的。

但是,我看了onclick标签,这个onclick标签的链接是不支持加密的,如果将链接加密以后,打开的都是404错误了。像小千改的半成品,看《实现onclick链接加密的方法,答案解析尽在小千个人博客网站》一文,真的是可以实现onclick标签链接加密哦。

总的来说,我就想记录一下吧,以后,不想让蜘蛛抓取的链接,可以这么做,取消掉href标签和 onclick标签,不用 href标签和 onclick标签的话,就能完美的实现,限制蜘蛛爬取外链,让它不爬取我规定的链接。

以上便是小千给大家分享的如何禁止蜘蛛抓取链接,小千个人博客网站出品,希望对大家有所帮助,如果想了解更多网站优化、SEO教程,请关注小千资源网吧~

版权声明:本文为博主原创文章,未经博主允许不得转载。http://nikucms.com/w/919.html

建站教程2023-02-02

织梦爱好者

织梦爱好者织梦爱好者注册会员

没有挖不倒的墙角,只有不努力的小三!

猜你喜欢

优惠券