老榕树社区

标题: 百度蜘蛛抓取失败的流量影响有哪些 [打印本页]

作者: luojian7171 时间: 2014-9-7 21:42
标题: 百度蜘蛛抓取失败的流量影响有哪些
马上注册，一起探讨正确快速的建站方法 您需要登录才可以下载或查看，没有帐号？快速注册 x 一、对于百度引擎的ua或者IP进行封禁，会导致百度不能成功抓取您的站点，从而不能成功抓取新上网页，以及将之前已经抓到的页面剖断为死链，并会进行清理，这样最终导致站点获得的流量削减。此外，还会有一些假充百度抓取和采集，可以使用DNS反查体例来确定抓取来历的ip是否属于百度，防止误封禁。参考资料：见问题解答二、压力过年夜的偶然封禁首先，我们会按照站点的规模，访谒量等信息，成立一个合理的站点抓取压力。可是会有一些破例，在压力节制欠好的情形下，处事器会凭证自身负荷进行呵护性的无意封禁，对于这样的情况，若是压力过大，请在返回码中尽量不要使用404，建议返回寄义是“这样百渡过段时刻再来考试考试抓取这个链接，假如阿谁时间站点余暇，那它就会被成功抓取了。三、站点服务不不调动换服务尽量的保证您的网站不乱，如果需要且则换服务，需要暂时让旧服务能够使用一段时间，而且做301 跳转，尽量减少改版带来的流量损失踪。虽然百度在对301跳转的响应周期较长，但我们仍是举荐巨匠这么做。除了以上介绍的典型封禁，还有一些其他非典型的，好比：refer、ua作弊、js等，这些封禁城市导致百度失败，从而把已经抓到的页面进行删除，或者不能成功抓取新页面，这样会直接影响到网站的流量。最后，但愿站长尽量连结站点的稳定，对于暂时不想被百度抓取的页面，使用正确的返回码奉告百度，如果确实不想被百度抓取或者索引，可以写息见告！

欢迎光临老榕树社区 (http://club.lrswl.com/)