唐山SEO网站建设
河北唐山专业网站建设制作SEO优化诊断百度搜狗谷歌等搜索引擎网络推广外包公司,服务10年,客户500+

网站SEO工作站长浅析搜索引擎预处理索引(下)

文章分类:网站SEO资讯 来源:河北SEO 作者:SEO顾问 时间:2018-04-25 19:45:36 阅读:


[导读]:预处理是搜索引擎中较复杂的一部分,本文讲述搜索引擎预处理索引下部分基础知识,对于网站设计以及SEO都会有帮助。

当搜索引擎经过预处理的前几个阶段之后,搜索引擎得到的是以词为单位的关键词集合.在这个之前,搜索引擎首先得到的是一个文件对应多个关键词,但这样的查询效率太低也不现实,所以搜索引擎会把这些文件进行反向映射,得到的是一个关键词对应多个文件.这样在用户搜索某个关键词的时候,就在这个关键词对应的所有文件中进行计算和匹配,并返回给用户最佳的搜索结果.了解了这个大体的过程。

搜索引擎预处理索引

搜索引擎预处理高级知识

搜索引擎蜘蛛抓取的原始页面,并不能直接用于查询排名处理。搜索引擎数据库中的页面数都在数万亿级别以上,用户输入搜索词后,靠排名程序实时对这么多页面分析相关性,计算量太大,不可能在一两秒内返回排名结果。因此抓取来的页面必须经过预处理,为最后的查询排名做好准备。上文《网站SEO工作站长浅析搜索引擎预处理索引(上)》河北SEO顾问讲述了搜索引擎的提取文字、中文分词、消除停止词、噪声消除等四个方面,下面讲述剩余的五个方面。

第五、随时去重

随时去重是比较重要的一部分,因为互联网的信息量巨大,加上本身大家都喜欢分享,所以就导致很多重复的内容。如果搜索引擎不进行去重处理,那么就会造成大量的重复爬取和收录。搜索引擎常用来去重的方法是对页面进行关键词指纹计算,典型的就是MD5算法,会从页面呢中选取最优代表性的一部分关键词进行计算,从而判断这些文章是否是原创。指纹计算常常精确到段落,因此一般性的伪原创是会被搜索引擎发觉的,它很容易能判定你是在抄袭。

第六、正向索引

正向索引也简称索引,蜘蛛在对网页进行提取、分词、消噪以及去重后,会得到能反应主题的关键词。搜索引擎会把这些代表页面主题的关键词组成一个个集合,同时记录每个关键词在页面上出现的次数、格式、频率等,然后把这些一个个集合存储进索引库,在庞大的索引库中,每个文件都对应一个ID,内容是一系列的关键词组合,然后搜索引擎就会不断充足自己的索引库并为排名做直接铺垫。

第七、倒排索引

在本文的开头,我们建立了索引网页库,用于通过 URL 可以直接定位到原始网页库中该 URL 对应的数据的位置;而现在的正向索引,我们可以通过某个网页的 URL 得到该网页的分词信息。获得正向索引看似对于我们的即将进行的查询操作没有什么实际的帮助,因为查询服务是通过关键词来获得网页信息,而正向索引并不能通过分词结果反查网页信息。其实,我们建立正向索引的目的就是通过翻转的操作建立倒排索引。所谓倒排就是相对于正向索引中网页——分词结果的映射方式,采用分词——对应的网页这种映射方式。

第八、链接关系计算

链接关系的计算总是大家最为关注的其中之一,现在主流的搜索引擎都会网页之间的链接计算作为很重要的一部分,看页面上哪些链接能够传递权重,那么只是起到引导作用。特别是Google PR值就是根据这种链接关系进行的计算,其它搜索引擎也有类似的计算,但不称作PR。链接关系往往非常复杂,计算也会花费很久的时间,这里就不做深入的分享,只是给大家提及,让大家知道预处理中有链接计算的存在。

第九、特殊文件的处理

网页上往往不仅仅是HTML文件,还存在多种文件类型。搜索引擎也会主动抓取以文字为基础的PDF、word、Txt文件等。我们在搜索的结果中也常常会发现此类搜索结果。但对于flash和图片,虽然搜索引擎一直在努力,但距直接读取其内容的距离还很远,所以大家如果想做SEO,尽量少采用图片和FLASH。应该尽量使用较多的文字让搜索引擎毫无障碍的爬行。

网页的预处理是搜索引擎的核心部分,建立索引网页库是为了网页数据更方便的从原始网页库中获取,而抽取正文信息是后续操作的基础。从分词开始就正式涉及到搜索引擎中文本数据的处理,分词的好坏以及效率很大程度上决定着搜索引擎的精确性,是非常需要关注的一点,而倒排索引时根据分词的结果建立的一个“词组——对应网页列表”映射,倒排索引是网页搜索的最关键数据结构,搜索引擎执行的速度与倒排索引的建立以及倒排索引的搜索方式息息相关。

标题:网站SEO工作站长浅析搜索引擎预处理索引(下)
地址:http://www.webrui.com/news/fa/251.html唐山新讯科技-SEO顾问
声明:如本站文章和转稿涉及版权等问题,请作者及时联系本站,我们会尽快处理!

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!

合作流程

合作流程

唐山网站建设制作优化SEO流程从提出需求到报价,再到网页设计或者网站优化,每一步都是规范和专业的

常见问题

常见问题

网站建设费用多少钱?提供SEO优化服务?哪家好哪家专业联系方式?等网站制作、网站优化SEO常见问题

常见问题

售后保障

网站制作不难,难的是一如既往的热情服务及技术支持。我们知道:做网站就是做服务,就是做售后