标签 Ahrefs 下的文章 - 老郭博客

登录

找到 1 篇与 Ahrefs 相关的结果

2023-07-20
屏蔽Ahrefs蜘蛛最近，老郭在查看博客访客的时候发现，来自54.36.148.*IP段的占了很大的比重，经过查询，这个IP段属于Ahrefs蜘蛛专用。老郭本来还挺高兴的，咱这小破博客终于有蜘蛛来爬了，而且数量还不少，看来被各大搜索引擎收录也是指日可待。但是一查Ahrefs蜘蛛，却发现了不对劲，Ahrefs蜘蛛是一个商业的蜘蛛，会对你的网站进行分析，来判断商业价值，与搜索引擎没有半毛钱关系。也就是说，Ahrefs蜘蛛不仅不会为老郭博客带来任何流量，反而会占用大量的资源。这种亏老郭是肯定不能吃的，于是决定要屏蔽掉Ahrefs蜘蛛。要想屏蔽蜘蛛，最简单和最通用的办法就是在网站根目录下robots.txt文件里进行设置，可是老郭发现老郭博客所用的wordpress程序根目录下没有这个文件，据说wordpress是在程序里用代码来管理各个搜索引擎蜘蛛的，老郭也不懂这些，所以干脆简单粗暴点，自己在根目录下创建了一个robots.txt文件，然后添加下面的代码。 User-agent: AhrefsBot Disallow: / User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /*?* Disallow: /attachment/ 代码一共两部分，上面一部分是禁止Ahrefs蜘蛛访问，下面一部分是禁止所有的蜘蛛访问特定的文件夹和文件，具体是干嘛的，老郭也不懂，都是网上找的。设置完成后，要过一段时间才能慢慢屏蔽掉Ahrefs蜘蛛，毕竟商业蜘蛛也不会那么快就访问到robots.txt文件。

网络 # 屏蔽 # 搜索引擎 # 蜘蛛 # Ahrefs

admin 2年前
0 2 0