蜘蛛长时间不抓取页面的原因
发布时间：2022-01-20 09:56:59 所属栏目：搜索优化 来源：互联网
导读：问题：蜘蛛长期不抓取页面的原因？ 回答：蜘蛛长期不抓取页面的原因有很多，通常都是因为服务器的不稳定，因为如果服务器不稳定的话，蜘蛛就不能正常的抓取，久而久之就可能会放弃站点。另外像网站整体质量不好这些，也会影响到蜘蛛的抓取频次，但这些情况
|
问题：蜘蛛长期不抓取页面的原因？ 回答：蜘蛛长期不抓取页面的原因有很多，通常都是因为服务器的不稳定，因为如果服务器不稳定的话，蜘蛛就不能正常的抓取，久而久之就可能会放弃站点。另外像网站整体质量不好这些，也会影响到蜘蛛的抓取频次，但这些情况下蜘蛛还是会来抓取，只是次数会减少。 这里大家要注意的是，网站权重高低跟蜘蛛抓取没有绝对的关系！当然，网站权重越高、页面数量越多、更新量越大，蜘蛛抓取的频次就越高。 但这些跟蜘蛛长期不抓取似乎关系也不大，长期不抓取的意思是蜘蛛放弃了站点，不再来抓取。如果是1-3个月的新站，这段时间蜘蛛抓取很少，则是正常的；如果超过了这段时间，并且网站每天也都有更新，蜘蛛还是不抓取，那就可能是服务器的问题了，或者是在robots里面限制了蜘蛛抓取。 总之而言，对于普通站点蜘蛛通常会抓取的，如果长期不抓取，极有可能是是服务器不稳定，导致蜘蛛长期不能正常抓取。所以，如果你的网站在网站日志里面长期看不到蜘蛛抓取，建议测试和修复网站服务器。 （编辑：源码门户网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐