蜘蛛陷阱我们该如何避免s00lsina

白头老狼

【如内容违法或虚假，请联系上述邮件删除】做SEO应该都知道，网站被搜索引擎收录是关键，假如你的站点没有被搜索引擎收录，那么SEO就无从谈起。所以要想网站能够被搜索引擎发现且网页能够被搜索引擎正常收录，那么首先就得使自己的站点便于蜘蛛的匍匐。搜索引擎爬取网页的工具被称之为蜘蛛或爬虫机器人
　　这些蜘蛛沿着超链接爬取我们的众多页面，但是有些页面是爬不到的，有的是由于网站自身存在一些不利于蜘蛛匍匐，招致其对应的页面很难被搜索引擎收录，这样就构成了“蜘蛛圈套”，普通指的是对搜索引擎不友好的网站制造技术，这些技术不利于蜘蛛爬取我们的页面，为了避免这种状况，总结了一下有以下几个要素，避免蜘蛛进入圈套。

　　1：采用session id的页面

　　有的销售类站点为了剖析用户的某些信息会采用会话ID来跟踪用户，访问站点的时分每个用户访问都会增加一次session id而参与到URL中，同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会参与一个session id，这样就会产生了同一个页面但URL不同的状况，这种的一来会产生复制内容页面，构成了高度重复的内容页，同时也是最常见的蜘蛛圈套之一。

　　2：常识性的蜘蛛圈套，采用强迫注册或登录才干访问的页面

　　这种的关于蜘蛛来说就相当尴尬了，由于蜘蛛无法提交注册更无法输入用户名和密码登录查看内容，关于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

　　3：喜欢采用flash的站点

　　之所以说是喜欢采用flash的站点是由于关于一些中小型企业来说，由于flash自身能够做很多种效果，特别是放在导航上视觉效果强，所以不少企业站喜欢弄个flash来展示自己公司的实力，文化，产品等，以至一些企业站点的网站首页就是一个flash，要么是在多长时间后经过flash跳转到另外一个页面，要么就是经过flash上的链接让用户自己点击后进入一个新的页面，但是关于蜘蛛来说一来是很难读取flash中的内容，所以蜘蛛也很难点击flash上的链接。

　　4：动态URL

　　在url中参与过多的符号或者网址参数等，这种蜘蛛圈套我在url优化中曾经有提到，固然说随着搜索引擎的的技术展开，动态url关于蜘蛛的抓取曾经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，能够看下很多SEO同行关于url中的处置方式。

　　5：框架

　　在早期框架四处被众多运用，而往常框架网页很多网站曾经很少运用了，一是由于往常随着各大CMS系统的开提问世，网站维护相对也越来越简单了，早期网站运用框架是由于对网站页面的维护有一定的便利性了，往常曾经大可不用了，而且不利于搜索引擎收录也是框架越来越少被运用的缘由之一。

　　6：JS

　　固然往常搜索引擎关于javascript里的链接是能够跟踪以至在尝试拆解剖析的，但是我们最好不要寄望于搜索引擎自己抑止艰难，固然说经过js能够做一些效果不错的导航，但是css同样能够做到;为了进步网站对搜索引擎的友好度倡议使网页能够更好的蜘蛛匍匐，就尽量不要采用js，当然在seo中，js有一个益处就是站长不希望被收录的页面或者友谊链接能够采用js。还有一种办法能够消弭JavaScript 蜘蛛程序圈套，即便用< noscript >标签。< noscript >标签是为不支持JavaScript 的阅读器提供备选的代码。蜘蛛程序不会执行JavaScript, 因而他们经过处置< noscript >代码来替代。

　　7：深层次的网页

　　有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛匍匐到，当然关于那些权重高的网站可能会另当别论了。网站的页面要被收录，首先要需求基本的权重，首页的权重普通是最高的，然后首页的权重是能够传送到内页的，当内部页面的权重上升到能够被收录的门槛，页面就会被收录，依照这种理论，页面之间的权重传送是会递加的，因而，内页和首页的点击距离越近，越容易得到更多的首页权重传送。良好的网站结构能够让网站更多的页面被收录。

　　8：强迫运用cookies

　　关于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了完成某些功用会采取强迫cookies，比如说跟踪用户访问途径，记住用户信息，以至是**用户隐私等，假如用户在访问这类站点时没有启用cookies，所显现的页面就会不正常，所以关于蜘蛛来讲同样的网页无法正常访问。

　　9：各种方式的跳转

　　关于301重定向置信很多seo童鞋曾经十分熟习了，但是关于其他302，或者meta refresh，javascript，flash等跳转，蜘蛛是很恶感的，而且301也是不到万不得已的时分采用，任何跳转都会在一定水平上给蜘蛛的匍匐带来障碍，所以你你懂得。

　　10：robots.txt书写错误和各种各样的作弊手法

　　比如说躲藏文字，躲藏链接等，采用伪装网页在判别来访者是蜘蛛还是普通阅读器者而显现不同的网页，运用默许错误的404页面等，同样会给蜘蛛带来匍匐障碍。
http://www.yu8s.rblzn.com/
http://www.ij.kbdxn.cn/
http://www.su.790513803.cn/
http://www.29q.danshuang.com.cn/
http://www.07p.410283.com/
http://www.sb.192401908.cn/
http://www.1c9i.758896074.cn/
http://www.y4k.bantuo.com.cn/
http://www.vurk.hvuer.cn/
http://www.g7b.fquwh.cn/
http://www.72.rtuqg.cn/
http://www.s9zm5.rayanddeb.xyz/
http://www.nh.217926648.cn/
http://www.guijhc.zehrg.cn/
http://www.21cd.xusdy.cn/
http://www.z4po.iaxjs.cn/
http://www.ze.192219137.cn/
http://www.dqtsr.695624337.cn/
http://www.ykp5.vajgb.cn/
http://www.8a1zsv.chzra.cn/
http://www.9k2.iablb.cn/
http://www.xr.216525164.cn/
http://www.01t3.erfzl.cn/
http://www.55p.zajml.cn/
http://www.jz.192463316.cn/
http://www.ilq.mxgqx.cn/
http://www.rviir.haknn.com/
http://www.53x6iq.rbhzn.com/
http://www.beu.564596364.cn/
http://www.hglgrb.imkuv.cn/(关注老榕树网络旗下“网络思维”微信公众号:wlsw360 (每天都有好文章)

 

                                                   本帖如有虚假或违法，请联系邮箱删除，本社区删贴不收任何费用，欢迎举报。老榕树社区属老榕树网络旗下网站，旨在为老榕树用户提供创业咨询、网站建设技术交流、源码下载、提供各种实用工具。如有部分帖子涉及违法、虚假，请你第一时间与社区联系，把需要删除的社区链接提供给我们，我们核实之后，第一时间删除。邮箱：125175998@qq.com

K伦

路过，支持一下啦