搜索引擎工作原理

liuzongyang

【如内容违法或虚假，请联系上述邮件删除】一、搜索引擎的分类

取得网站网页资料，能够树立数据库并提供查询的系统，我们都能够把它叫做搜索引擎。依照工作原理的不同，能够把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。

全文搜索引擎的数据库是依托一个叫“网络机器人（Spider）”或叫“网络蜘蛛（crawlers）”的软件，经过网络上的各种链接自动获取大量网页信息内容，并按以定的规则剖析整理构成的。Google、百度都是比较典型的全文搜索引擎系统。

分类目录则是经过人工的方式搜集整理网站资料构成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也能够归属为原始的分类目录，比如“网址之家”。

全文搜索引擎和分类目录在运用上各有长短。全文搜索引擎由于依托软件中止，所以数据库的容量十分庞大，但是，它的查询结果常常不够精确；分类目录依托人工搜集和整理网站，能够提供更为精确的查询结果，但搜集的内容却十分有限。为了扬长避短，往常的很多搜索引擎，都同时提供这两类查询，普通对全文搜索引擎的查询称为搜索“一切网站”或“全部网站”，比如Google的全文搜索（http://www.google.com/intl/zh-CN/）；把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”，比如新浪搜索和雅虎中国搜索（http://cn.search.yahoo.com/dirsrch/）。

在网上，对这两类搜索引擎中止整合，还产生了其它的搜索效劳，在这里，我们权且也把它们称作搜索引擎，主要有这两类：

⒈元搜索引擎(META Search Engine)。这类搜索引擎普通都没有自己网络机器人及数据库，它们的搜索结果是经过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显现。元搜索引擎虽没有“网络机器人”或“网络蜘蛛”，也无独立的索引数据库，但在检索央求提交、检索接口代理和检索结果显现等方面，均有自己研发的特征元搜索技术。比如“metaFisher元搜索引擎”
（http://www.hsfz.net/fish/），它就调用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的数据。

⒉集成搜索引擎（All－in－One Search Page）。集成搜索引擎是经过网络技术，在一个网页上链接很多个独立搜索引擎，查询时，点选或指定搜索引擎，一次输入，多个搜索引擎同时查询，搜索结果由各搜索引擎分别以不同页面显现，比如“网际瑞士军刀”（http://free.okey.net/%7Efree/search1.htm）。

二、搜索引擎的工作原理

全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序中止剖析，依据一定的相关度算法中止大量的计算树立网页索引，才干添加到索引数据库中。我们平常看到的全文搜索引擎，实践上只是一个搜索引擎系统的检索界面，当你输入关键词中止查询时，搜索引擎会从庞大的数据库中找到契合该关键词的一切相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。

和全文搜索引擎一样，分类目录的整个工作过程也同样分为搜集信息、剖析信息和查询信息三部分，只不过火类目录的搜集、剖析信息两部分主要依托人工完成。分类目录普通都有特地的编辑人员，担任搜集网站的信息。随着收录站点的增加，往常普通都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决议能否收录该站点。假如该站点审核经过，分类目录的编辑人员还需求剖析该站点的内容，并将该站点放在相应的类别和目录中。一切这些收录的站点同样被寄存在一个“索引数据库”中。用户在查询信息时，能够选择依照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是依据信息关联水平排列网站。需求留意的是，分类目录的关键词查询只能在网站的称号、网址、简介等内容中中止，它的查询结果也只是被收录网站首页的URL地址，而不是细致的页面。分类目录就像一个电话号码薄一样，依照各个网站的性质，把其网址分门别类排在一同，大类下面套着小类，不时到各个网站的细致地址，普通还会提供各个网站的内容简介，用户不运用关键词也可中止查询，只需找到相关目录，就完整能够找到相关的网站（留意：是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名普通是依照标题字母的先后次第或者收录的时间次第决议的）。
搜索引擎并不真正搜索互联网，它搜索的实践上是预先整理好的网页索引数据库。


真正意义上的搜索引擎，通常指的是搜集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）中止索引，树立索引数据库的全文搜索引擎。当用户查找某个关键词的时分，一切在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法中止排序后，这些结果将依照与搜索关键词的相关度上下，依次排列。

往常的搜索引擎已普遍运用超链剖析技术，除了剖析索引网页自身的内容，还剖析索引一切指向该网页的链接的URL、AnchorText、以至链接周围的文字。所以，有时分，即便某个网页A中并没有某个词比如“恶魔撒旦”，但假如有别的网页B用链接“恶魔撒旦”指向这个网页A，那么用户搜索“恶魔撒旦”时也能找到网页A。而且，假如有越多网页（C、D、E、F……）用名为“恶魔撒旦”的链接指向这个网页A，或者给出这个链接的源网页（B、C、D、E、F……）越优秀，那么网页A在用户搜索“恶魔撒旦”时也会被以为更相关，排序也会越靠前。

搜索引擎的原理，能够看做三步：从互联网上抓取网页→树立索引数据库→在索引数据库中搜索排序。

从互联网上抓取网页
应用能够从互联网上自动搜集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的一切URL爬到其它网页，重复这过程，并把爬过的一切网页搜集回来。


树立索引数据库
由剖析索引系统程序对搜集回来的网页中止剖析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），依据一定的相关度算法中止大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息树立网页索引数据库。


在索引数据库中搜索排序
当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到契合该关键词的一切相关网页。由于一切相关网页针对该关键词的相关度早已算好，所以只需依照现成的相关度数值排序，相关度越高，排名越靠前。
最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
搜索引擎的Spider普通要定期重新访问一切网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新状况，增加新的网页信息，去除死链接，并依据网页内容和链接关系的变化重新排序。这样，网页的细致内容和变化状况就会反映到用户查询的结果中。

互联网固然只需一个，但各搜索引擎的才干和偏好不同，所以抓取的网页各不相同，排序算法也各不相同。大型搜索引擎的数据库贮存了互联网上几亿至几十亿的网页索引，数据量抵达几千G以至几万G。但即便最大的搜索引擎树立超越二十亿网页的索引数据库，也只能占到互联网上普通网页的不到30%，不同搜索引擎之间的网页数据堆叠率普通在70%以下。我们运用不同搜索引擎的重要缘由，就是由于它们能分别搜索到不同的内容。而互联网上有更大量的内容，是搜索引擎无法抓取索引的，也是我们无法用搜索引擎搜索到的。

你心里应该有这个概念：搜索引擎只能搜到它网页索引数据库里贮存的内容。你也应该有这个概念：假如搜索引擎的网页索引数据库里应该有而你没有搜出来，那是你的才干问题，学习搜索技巧能够大幅度进步你的搜索才干。

(关注老榕树网络旗下“网络思维”微信公众号:wlsw360 (每天都有好文章)

 

                                                   本帖如有虚假或违法，请联系邮箱删除，本社区删贴不收任何费用，欢迎举报。老榕树社区属老榕树网络旗下网站，旨在为老榕树用户提供创业咨询、网站建设技术交流、源码下载、提供各种实用工具。如有部分帖子涉及违法、虚假，请你第一时间与社区联系，把需要删除的社区链接提供给我们，我们核实之后，第一时间删除。邮箱：125175998@qq.com