标签抓取下的文章 - 老郭博客

登录

找到 1 篇与抓取相关的结果

2023-12-22
百度蜘蛛不太兼容腾讯Edgeone 自从老郭博客开始使用腾讯的Edgeone之后，老郭发现百度蜘蛛就不再来抓取网页了，即使老郭每天都在提交网页也没有任何的用处。在百度站长平台的后台可以看出，最近一段时间百度蜘蛛的抓取量一直为0。老郭尝试了一下抓取测试，发现竟然抓取失败了。点开详情看了一下，老郭发现虽然现在博客的IP已经变成Edgeone的了，但是百度蜘蛛仍然是访问原来的IP，那自然是没办法抓取到了。老郭点击了一下反馈，过了几分钟再尝试重新抓取，百度蜘蛛已经提示抓取成功了，IP地址也变成了Edgeone的了。虽然目前手动测试抓取是成功了，但老郭博客最近几天仍然没有百度蜘蛛的访问记录，同时老郭博客在百度的排名掉的也非常的厉害。看来Edgeone作为一个新产品，与百度蜘蛛的兼容性并不是太好的，但具体是什么情况老郭也说不清楚，也许是与Edgeone自带防火墙有一定的关系。所以对于成熟的网站，使用Edgeone确实需要谨慎一些，而对于像老郭博客这也几乎没有访问量的网站来说，有没有百度蜘蛛，其实区别并不是太大的。

网络 # 蜘蛛 # 百度 # Edgeone # 抓取

老郭 2年前
0 0 0