如何限制蜘蛛的抓取量 而不影响seo效果

书生情怀A

【如内容违法或虚假，请联系上述邮件删除】3，用robots限制无效页面或重复页面的抓取。有一些页面可能以前存在但是往常没有了，或者是存在动态与静态的URL一同存在，由于存在反向链接或数据库内有这样的链接，蜘蛛仍旧会不时中止抓取，我们能够找出返回404页面的URL，把这些URL都给屏蔽掉，这样既进步了抓取屏蔽也减少了流量糜费。
网站假定采用的是虚拟空间，那么都会有一定的流量限制，假如大部分的流量都被蜘蛛所占领，那么我们就需求额外破费一些钱去置办流量了。那么假定一个网站很多流量都是蜘蛛抓取所糜费的，有哪些技巧和办法能够限制而不影响seo效果呢？焦大以为，我们能够采用以下几种方式：
4，限制页面的抓取内容来进步抓取效率与抓取速度，减少抓取流量。关于任何一个页面来说，都有很多无效的噪音区，比如一个网站的登录、注册部分、最下面的版权信息和一些辅佐性的链接导航等，或一些模板上存在一些无法被蜘蛛辨认的展示模块等，这些我们都能够采用加Noffollow标签或ajax、JS等办法中止限制或屏蔽抓取，减少抓取量。

1，找出虚假蜘蛛中止IP屏蔽。经过网站日志剖析，我们能够知道其实很多所谓的百度spider或谷歌spider其实都是假的，我们能够经过解析出这些虚假蜘蛛的IP中止屏蔽，这样不只能够俭省流量也能够减少网站被采集的风险。细致操作中需求反查出IP是不是真蜘蛛，操作办法为：点击左下角的开端-运转-CMD-输入命令nslookup ip 回车就能够看到结果了。假如是真的搜索蜘蛛都有一个蜘蛛标志，而假的蜘蛛却没有标志。
5，外部调用或cdn加速来进步蜘蛛的抓取，减少效劳器的响应和流量糜费。目前的网站大多采用大量的图片、视频等多媒体来展示，而这些图片缺需求较多的下载流量，假如我们把图片采用外部调用的方式，那么就能够俭省大量的蜘蛛抓取流量。目前比较好的办法有把图片放在其他的效劳器或上传到一些网盘上都能够。
本文由来源seo论坛
2，屏蔽无效的蜘蛛或对seo效果小的搜索蜘蛛。比如我们知道谷歌蜘蛛是抓取量十分大，但是关于很多行业来说谷歌的流量很低，seo效果并不好，因而能够中止屏蔽谷歌蜘蛛的抓取而俭省大量的流量，例如美丽说网站就屏蔽了谷歌蜘蛛的抓取。除了谷歌之外，还有一些蜘蛛比如的盘古搜索、bing蜘蛛等，这些流量都十分低的，或者简直没有太大作用的蜘蛛其实都能够屏蔽掉。
6，应用站长工具限制或进步蜘蛛的抓取，或者限制蜘蛛抓取的时间。目前百度站长平台和谷歌站长平台都有站长抓取的工具，能够用来限制蜘蛛抓取的时间和抓取量，我们能够依据需求中止合理分配，抵达最佳的效果。
以上就是焦大总结的如何进步蜘蛛抓取效率、降低抓取量的一些办法，当然在实践中我们也能够依据自身实践需求来处置，比如能够对一些抓取量过大的栏目在sitemap设置较低的抓取频率、对一些重要的内容假如收录不好的话也能够增加外链或内链来进步抓取等，办法是死的，我们能够依据细致的续期去中止合理化的设置，来抵达更少的抓取而更高的抓取效率。
昆明整形医院: http://v3zn3.cjwt7.xyz/ [由gjkte搜集kwfhc发布](关注老榕树网络旗下“网络思维”微信公众号:wlsw360 (每天都有好文章)

 

                                                   本帖如有虚假或违法，请联系邮箱删除，本社区删贴不收任何费用，欢迎举报。老榕树社区属老榕树网络旗下网站，旨在为老榕树用户提供创业咨询、网站建设技术交流、源码下载、提供各种实用工具。如有部分帖子涉及违法、虚假，请你第一时间与社区联系，把需要删除的社区链接提供给我们，我们核实之后，第一时间删除。邮箱：125175998@qq.com

小米粒

有道理。。。