标签蜘蛛下的文章 - 老郭博客

登录

找到 3 篇与蜘蛛相关的结果

2024-01-11
老郭准备放弃Edgeone了老郭使用腾讯云的Edgeone边缘安全加速平台已经差不多一个月的时间了，客观的说，无论是其包含的防火墙功能还是加速能力，基本上是符合介绍的，目前50元每年的价格也是物超所值的。但是，老郭却准备要放弃Edgeone，最主要的原因还是之前所说的，Edgeone会阻止百度蜘蛛的访问。距离上次测试已经过去了半个多月，但从百度资源平台上来看，老郭博客的索引量非但没有上升，反而在使用了Edgeone之后连续出现了下降。在百度上搜索老郭博客，基本上也搜索不到了，用行内话来说，老郭博客已经被百度搜索K站了。即使老郭自认为博客始终保持着较高的更新频率，但似乎也无济于事。从后台上来看，就好像有某种神秘的力量给老郭博客设置了一个结界，阻止了百度蜘蛛的访问。可以看出，有好几次，百度蜘蛛都尝试访问了一次，然后就没有然后了。以老郭的能力，自然是搞不清到底是百度搜索的问题还是Edgeone的问题。但无论是谁的原因，从结果上，老郭都是受害者，毕竟在国内，百度不收录就等于没有访问量，况且微软和谷歌的蜘蛛并没有受到任何的影响。所以，老郭已经在认真考虑是否要继续使用Edgeone了，即使老郭已经续费到2026年年底了。目前老郭已经给腾讯云提交了工单，如果他们最终也无法解决此问题，那老郭不得不放弃使用Edgeone了。

网络 # 蜘蛛 # 百度 # Edgeone

admin 1年前
0 0 0
2023-12-22
百度蜘蛛不太兼容腾讯Edgeone 自从老郭博客开始使用腾讯的Edgeone之后，老郭发现百度蜘蛛就不再来抓取网页了，即使老郭每天都在提交网页也没有任何的用处。在百度站长平台的后台可以看出，最近一段时间百度蜘蛛的抓取量一直为0。老郭尝试了一下抓取测试，发现竟然抓取失败了。点开详情看了一下，老郭发现虽然现在博客的IP已经变成Edgeone的了，但是百度蜘蛛仍然是访问原来的IP，那自然是没办法抓取到了。老郭点击了一下反馈，过了几分钟再尝试重新抓取，百度蜘蛛已经提示抓取成功了，IP地址也变成了Edgeone的了。虽然目前手动测试抓取是成功了，但老郭博客最近几天仍然没有百度蜘蛛的访问记录，同时老郭博客在百度的排名掉的也非常的厉害。看来Edgeone作为一个新产品，与百度蜘蛛的兼容性并不是太好的，但具体是什么情况老郭也说不清楚，也许是与Edgeone自带防火墙有一定的关系。所以对于成熟的网站，使用Edgeone确实需要谨慎一些，而对于像老郭博客这也几乎没有访问量的网站来说，有没有百度蜘蛛，其实区别并不是太大的。

网络 # 蜘蛛 # 百度 # Edgeone # 抓取

admin 2年前
0 0 0
2023-07-20
屏蔽Ahrefs蜘蛛最近，老郭在查看博客访客的时候发现，来自54.36.148.*IP段的占了很大的比重，经过查询，这个IP段属于Ahrefs蜘蛛专用。老郭本来还挺高兴的，咱这小破博客终于有蜘蛛来爬了，而且数量还不少，看来被各大搜索引擎收录也是指日可待。但是一查Ahrefs蜘蛛，却发现了不对劲，Ahrefs蜘蛛是一个商业的蜘蛛，会对你的网站进行分析，来判断商业价值，与搜索引擎没有半毛钱关系。也就是说，Ahrefs蜘蛛不仅不会为老郭博客带来任何流量，反而会占用大量的资源。这种亏老郭是肯定不能吃的，于是决定要屏蔽掉Ahrefs蜘蛛。要想屏蔽蜘蛛，最简单和最通用的办法就是在网站根目录下robots.txt文件里进行设置，可是老郭发现老郭博客所用的wordpress程序根目录下没有这个文件，据说wordpress是在程序里用代码来管理各个搜索引擎蜘蛛的，老郭也不懂这些，所以干脆简单粗暴点，自己在根目录下创建了一个robots.txt文件，然后添加下面的代码。 User-agent: AhrefsBot Disallow: / User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=*\ Disallow: /*?* Disallow: /attachment/ 代码一共两部分，上面一部分是禁止Ahrefs蜘蛛访问，下面一部分是禁止所有的蜘蛛访问特定的文件夹和文件，具体是干嘛的，老郭也不懂，都是网上找的。设置完成后，要过一段时间才能慢慢屏蔽掉Ahrefs蜘蛛，毕竟商业蜘蛛也不会那么快就访问到robots.txt文件。

网络 # 屏蔽 # 搜索引擎 # 蜘蛛 # Ahrefs

admin 2年前
0 2 0