广州小雨seo想做好seo优化了解搜索引擎很重要
想做好seo优化，你得先了解搜索引擎
搜索引擎的工作过程非常复杂，搜索引擎的过程可以分为三个阶段。爬网和爬网：搜索引擎蜘蛛跟踪访问页面的链接并将页面HTML代码拉入数据库。预处理：搜索将获得捕获的页面数据文本的文本提取，中文分词，索引等以进行排名程序调用。排名：当用户输入关键字时，排名将调用索引库数据，计算相关性，然后生成特定格式的搜索结果页面。
爬行和爬行
抓取和抓取是搜索引擎作业中完成数据收集的第一步。
蜘蛛网
搜索引擎用来爬网和访问页面的程序称为蜘蛛程序，也称为bot。
蜘蛛特工名称：
百度蜘蛛：百度蜘蛛+（+http://www.baidu.com/search/spider.htm）
雅虎中国蜘蛛：Mozilla/5.0（兼容；雅虎SlurpChina；http://misc.yahoo.com.cn/help.html）
英文YahooSpider：Mozilla/5.0（兼容；Yahoo！Slurp/3.0；http://help.yahoo.com/help/us/ysearch/slurp）
GoogleSpider：Mozilla/5.0（兼容；Googlebot/2.1；+http://www.google.com/bot.html）
MicrosoftBingSpider：msnbot/1.1（+http://search.msn.com/msnbot.htm）
搜狗蜘蛛：搜狗+网络+机器人+（+http://www.sogou.com/docs/help/webmasters.htm#07）
Sosospider：Sosospider+（+http://help.soso.com/webspider.htm）
我有一个蜘蛛：Mozilla/5.0（兼容；YodaoBot/1.0；http://www.yodao.com/help/webmaster/spider/；）
跟踪链接
要在网络上抓取尽可能多的页面，搜索引擎蜘蛛将跟踪页面上的链接，就像它们从一个页面爬到下一页一样，就像蜘蛛在蜘蛛网上爬行一样，这是搜索引擎蜘蛛名称的由来。最简单的爬网遍历策略分为两种。一个是深度优先，另一个是宽度优先。深度优先搜索
深度优先搜索意味着只有一个子节点在搜索树的每个层次结构中首先展开，然后从当前节点返回到父节点，直到可以继续（受限于深度或受限于深度）为止。朝另一个方向前进。这种方法的搜索树逐渐形成在树的根部。
深度优先搜索也称为垂直搜索。问题树可能包含无限分支，因此如果将深度优先搜索误认为是无限分支（即深度是无限的），则不可能找到目标节点。结果，深度优先搜索策略不完整。同样，通过应用此策略获得的解决方案不一定是最佳解决方案（最短路径）。
广度优先搜索
在深度优先搜索算法中，深度较大的节点首先被扩展。如果算法从搜索更改为按节点级别进行搜索，则搜索完成后，它将无法处理此层次结构中的节点。即，深度较小的节点首先被扩展。首先扩展第一个生成的节点，此搜索算法称为广度优先搜索方法。
在深度优先搜索算法中，深度较大的节点首先被扩展。如果算法从搜索更改为按节点级别进行搜索，则搜索完成后，它将无法处理此层次结构中的节点。即，深度较小的节点首先被扩展。首先扩展第一个生成的节点，此搜索算法称为广度优先搜索方法。
吸引蜘蛛
有几个影响页面的因素被认为很重要。
·网站和页面权重。高质量，较旧的网站被认为具有较高的权重，并且这些网站的页面会在较高级别上进行爬网，其中包括更多内部页面。
·页面更新的程度。蜘蛛每次爬网时都会存储页面数据。如果第二次爬网找到与第一次爬网完全相同的页面，则意味着该页面不会更新，并且爬网程序不必经常进行爬网。如果页面内容经常更新，则蜘蛛程序将更频繁地访问该页面，并自然地更快地跟踪页面上显示的新链接并获得一个新页面。
获取链接无论蜘蛛是外部链接还是指向同一网站进行爬网的内部链接，都必须具有导入链接才能进入页面。否则，蜘蛛程序将不知道该页面存在。高质量的导入链接通常会增加页面上导出链接的深度。通常，网站上权重最高的是首页，大多数外部链接都指向该首页，并且对蜘蛛的最频繁访问也是该首页。点击您的首页越近，页面的权重就越大，蜘蛛爬网的可能性就越大。
地址库
为避免重复爬网和URL爬网，搜索引擎将创建地址库，该地址库不仅记录已爬网的页面，而且还记录已检索但尚未爬网的页面。地址库中有多个uRL源。（1）我手动进入种子网站。
（2）在爬虫爬网页面之后，将解析HTML中的新链接uRL并将其与地址库中的数据进行比较，如果该URL不是地址库中的URL，则将其存储在地址库中以进行访问。
（3）网站管理员通过搜索引擎网页提交表单提交传入的URL。
蜘蛛程序从地址库中提取要按重要性进行访问的uRL，访问页面以获取页面，然后从要访问的地址库中删除uRL，并将其放入访问的地址库中。
大多数主要的搜索引擎都提供表单供网站站长提交URL。但是，提交的URL仅存储在地址库中，其包含取决于页面的重要性。搜索引擎中包含的大多数页面都是通过Spider自己的跟踪链接获得的。默认页面t是无用的，搜索引擎更喜欢跟随新链接并查找新页面。
文件存储扫描引擎蜘蛛存储的数据存储在原始页面数据库中。页面数据与从用户浏览器获得的HTML完全相同。每个uRI都有一个唯一的文件编号。
爬行时复制内容检测
通常在以下所述的预处理过程中执行副本检测和删除，但是现在，爬网程序还在爬网和爬网文件时执行复制检测级别。如果网站在重量较轻的网站上发现大量重印或复制的内容，则它可能不会继续爬网。这就是为什么某些网站管理员在其日志文件中找到蜘蛛的原因，但实际上它们并不包含页面。
预处理
在某些SEO数据中，“预处理”也称为“索引编制”，因为索引编制是预处理中最重要的步骤。
搜索引擎蜘蛛爬网的原始页面不会直接用于查询排名处理。搜索引擎数据库中的页面数量超过1万亿美元。用户输入搜索词后，排名程序会实时分析太多页面的相关性，并且计算量很大，以致于无法在1-2秒内返回排名结果。因此，必须对获取的页面进行预处理以准备最终的查询排名。
像爬网一样，预处理是在后台提前完成的，用户在搜索时不会感觉到这一过程。
1.提取文字
当今的搜索引擎仍基于文本内容。抓取工具爬行的页面的HTML代码除了包含用户在浏览器中看到的显示文字之外，还包含许多HTML格式的标记，JavaScript程序和其他用户无法排名的内容。搜索引擎预处理中要做的第一件事是从HTML文件中删除标签和程序，并提取可用于排名处理的页面文本内容。
删除HTML代码后，要排名的其余文本为：
除了显示的文本之外，搜索引擎还提取包含文本信息的特殊代码，例如元标记中的文本，图像替代文本，Flash文件中的替代文本，链接锚文本等。2.中文分词
分词是中文搜索引擎中独特的一步。搜索引擎的存储和处理页面以及用户搜索均基于单词。英文单词和单词之间有空格，搜索引擎索引器可以将句子直接分为单词集合。中文单词和单词之间没有分隔符，句子中的所有单词和单词都链接在一起。搜索引擎必须首先从单词本身中区分出组成单词的单词。例如，“减肥方法”分为两个词：“减肥”和“如何做”。
基本上有两种中文分词方法，一种基于字典匹配，另一种基于统计。
基于字典匹配的方法，是指待分析的汉字与预先编写的字典中的词语相匹配，并且字典中的现有单词在待分析的中文字符串中成功匹配或匹配。分词
根据扫描方向，基于字典的匹配方法可以分为正向匹配和反向匹配。根据匹配长度的优先级，它可以分为最大匹配和最小匹配。优先混合扫描方向和长度，可以创建其他方法，例如正最大匹配和反向最大匹配。
字典匹配方法易于计算，准确度高度依赖于字典的完整性和更新。
基于统计的单词拆分方法分析大量文本样本，并计算单词和单词彼此相邻出现的统计概率，其中更多相邻单词构成更多单词。基于统计的方法的优势在于，它可以帮助您更快地做出反应并澄清新词。
基于字典的匹配和基于统计的分词都有其优缺点。实际使用的单词共享系统是快速有效的，是识别新单词，新单词和消除歧义的两种方法的混合。
中文分词的准确性通常会影响搜索引擎排名的相关性。例如，如百度搜索“搜索引擎优化”中的快照所示，百度将“搜索引擎优化”一词视为一个词。
在Google上搜索同一单词时，快照显示Google将单词切为“搜索引擎”和“优化”两个单词。显然，百度更合理，而搜索引擎优化是一个完整的概念。Google的分词趋向于更加分散。
分词的这种差异可能是某些关键字排名在搜索引擎中表现不同的原因之一。例如，百度更喜欢在页面上将搜索字词显示为完全匹配。换句话说，在搜索“足够的博客”时，这四个单词会不断出现，从而更容易在百度中获得良好的排名。Google与众不同，不必完全匹配。有些页面上有“足够玩”和“博客”这两个词，但不一定要完全匹配。页面上的前面会显示“足够播放”，而其他位置会显示“博客”。“当你获得良好的排名时。”搜索引擎中的分词不取决于页面本身，而是取决于词库的大小，准确性和分词算法，因此SEO代表几乎无法做到分词。在页面引擎上提示搜索引擎是唯一的方法，尤其是在模棱两可的情况下，例如页面标题中出现的关键字，h1标签和粗体文本。如果页面是“和服”，则可以用黑色显示单词“和服”。如果页面上的内容是“化妆品”，则可以用黑色标记“服装”。这样，当搜索引擎分析页面时，它知道以黑色显示的单词应该是单词。
3.转到单词stop
无论是英语还是中文，页面内容中都有一些词更频繁但不会影响内容，例如“a”，“land”，“de”以及其他辅助词“ah”和“ha”。形容词如“是”，副词或介词如“this”，“to”，“but”。该单词被称为停用词，因为它对页面的主要含义影响很小。英文常见的停用词是a，a，an，to等。
搜索引擎会在索引页面之前删除这些停用词，以使索引数据主题更引人注目并减少不必要的计算。
4.降噪
页面上的大多数内容都不会影响页面主题，例如受版权保护的文本，导航栏，广告等。例如，浏览内容（例如文章分类和存档）几乎出现在每个博客页面上，但是这些页面与单词“category”或“history”无关。当用户搜索“历史”和“类别”关键字时，这些词会显示在页面上，因此返回博客文章是毫无意义的，并且完全无关紧要。因此，这些块都是杂音，只能在页面主题中发挥适当的作用。
搜索引擎需要识别并消除这些噪音，以便对它们进行无噪音排序。降低噪音的基本方法是根据HTML标签，单独的页面标题，导航，文本，页脚，广告等来划分页面。网站上许多重复的块通常都是噪音。显示页面时，页面的其余部分是页面的主要内容。
5.减轻重量
搜索引擎还需要重新处理页面。
同一篇文章经常在其他网站上重复出现，例如在其他网站上，并且搜索引擎不喜欢这种重复的内容。如果用户搜索时前两个页面是来自不同网站的同一文章，则它们与内容相关，但是用户体验太差。搜索引擎只希望返回相同的文章之一，因此您需要在索引之前识别并删除重复的内容，此过程称为“重复数据删除”。重复数据删除的默认方法是计算页面功能关键字的指纹。换句话说，我们选择页面内容中关键字中最具代表性的部分（最常见的关键字），然后计算这些关键字的数字指纹。此处的关键字选择是在单词优化，停用词和降噪之后。实验表明，通常可以选择10个特征关键字来实现更高的计算精度，而选择更多的单词将不会显着帮助提高重复数据删除的准确性。
常见的指纹计算方法是MD5算法（信息摘要算法第五版）。这种指纹算法的一个特点是输入（字符关键字）的细微变化会在计算出的指纹中产生很大的差异。
了解搜索引擎重复数据删除算法后，SEO代表只需要增加“”，“地面”，“de”并更改所谓的伪原创段落的顺序即可，它们无法逃脱搜索引擎的重复数据删除算法。这是因为您不能更改文章的功能关键字。而且，尽管搜索引擎的重复数据删除算法可能高于页面级别，但是即使您混合使用不同的文章并颠倒段落顺序，重印和抄袭也不是唯一的。
6.前进指数
前向索引也简称为索引。
经过文本提取，单词拆分，噪声消除和重复数据删除之后，搜索引擎将反映页面的内容并根据单词获得唯一的内容。接下来，搜索引擎索引器可以提取关键字，根据分词器拆分单词，将页面转换为关键字集，并记录页面上每个关键字的出现频率，出现次数和格式（例如标题标签，粗体，H标签，锚文本等）及其位置（例如页面上的第一段）。这样，每个页面可以被记录为一组关键词，并且还记录每个关键词的权重信息，诸如词频，格式，位置等。
搜索引擎索引器将页面和关键字词汇结构存储在索引库中。简化的索引词汇表如表2-1所示。
每个文件对应一个文件ID，并且文件内容由一组关键字表示。实际上，在搜索引擎索引库中，关键字会转换为关键字ID，因此这些数据结构称为前向索引。
7.倒排索引
前向索引不能直接用于排名。假设用户正在搜索关键字2并且只有一个前向索引，则排名程序应扫描所有索引库中的文件，找到包含关键字2的文件，然后执行相关性计算。这样的计算不符合实时返回排名结果的要求。
因此，搜索引擎将前向索引数据库重组为反向索引，并将对应于关键字的文件的映射转换为关键字文件的映射，如表2-2所示。
在反向索引中，关键字是主键，每个关键字对应于一系列文件，并且关键字显示在该文件中。这样，当用户搜索关键字时，排序器将在反向索引中查找关键字，并立即找到所有包含该关键字的文件。
8.链接关系计算
链接关系计算也是预处理的重要部分。现在，所有主流搜索引擎排名元素都包含网页之间的链接流信息。搜索引擎需要在抓取页面内容之后预先计算。页面上的哪些链接指向其他页面，获取每个页面的链接，链接中使用的锚文本以及这些复杂的链接指向形成网站和页面的关系。链接权重。
GooglePR值是这种联系中最重要的词之一。其他搜索引擎不称为PR，但它们进行类似的计算。
由于页面和链接数量众多，在线链接关系会不断更新，因此链接关系和PR计算需要很长时间。还有一个关于PR和链接分析的特殊章节。数据，计算出的排名将显示给客户，并且排名过程直接与客户互动。9.特殊文件处理
除了HTML文件之外，搜索引擎还可以对各种基于文件的文件类型（例如PDF，Word，WPS，XLS，PPT，TXT文件等）进行爬网和索引。这些文件类型通常会出现在搜索结果中。但是，搜索引擎当前无法处理非文本内容（例如图像，视频和Flash），也无法运行脚本和程序。
虽然搜索引擎在识别图像和从Flash提取文本内容方面取得了一些进展，但目标仍然远非直接通过读取图像，视频和Flash内容来返回结果。图像和视频内容的排名通常基于关联的文本内容。有关更多详细信息，请参见下面的联合搜索部分。
排名
搜索引擎搜寻器抓取界面之后，搜索引擎程序将计算倒排索引，并且搜索引擎随时可以处理用户搜索。当用户填写搜索框时，排名程序将调用索引库数据，将排名显示给客户，并且排名过程直接与客户进行交互。