今天，我们将讨论技术搜索引擎优化的基础知识。我们将解释抓取、索引和排名之间的区别。此外，我们还将向你展示如何利用内部链接、robots.txt 文件和 XML 站点地图来帮助 Google 更快、更有效地抓取，并为其编制索引。
Google 的工作原理：抓取、索引和排名之间有什么区别
谷歌遵循三个步骤来生成 SERP（搜索引擎结果页面）：
抓取
索引
排行
抓取是 Googlebot 在网络上发现新数据（即全新页面或更新的旧页面）的自动化过程。
Googlebot 使用以下两项来抓取网络：
过去抓取的网址列表，即 Googlebot 已经抓取的网页
站点地图
然后，Google 会抓取列表中的所有网址以及站点地图中包含的所有网址。注意：在抓取过程中，Google 会格外注意新网站、旧网页的更新和死链接。
Googlebot 可以通过以下方式发现新页面：
跟随已被抓取的页面上的链接。例如，如果你创建了一个新的产品页面并在主页上添加了一个指向它的链接，那么下次 Googlebot 抓取主页（它已经知道的页面）时，它也会抓取你的新产品页面。
读取已更新并包含指向新创建网页的链接的站点地图。
你可以做以下几件事来帮助 Google 更快地抓取（即发现）你的新网页。例如，你可以：
创建强大的内部链接结构
创建 robots.txt 文件
创建一个 sitemap.xml 文件并将其提交到 Google Search Console
我们将在下面更详细地讨论每个步骤。
Google 使用算法来确定要抓取哪些网站、抓取它们的频率以及从每个网站抓取多少页面。如果你添加了新网页或对现有网页进行了更改，则可以请求重新抓取 – 你可以向 Google Search Console 提交单个网址或站点地图的更新版本。
重新抓取可能需要长达数周的时间 – 你可以使用索引覆盖率报告来监控进度。多次请求重新抓取是没有意义的 – 它不会加快进程。
综上所述，抓取就是在网络上发现新数据的过程。索引是对这些数据进行分类、组织和存储在 Google 中的过程。
也就是说，Googlebot 发现新页面后，它会尝试评估其内容并了解其内容。然后，它将这些信息组织并存储在一个巨大的数据库中——谷歌索引。Google 索引包含数千亿个页面。它超过 1 亿 GB。谷歌将其描述为书后的索引——”with an entry for every word seen on every webpage we index. When we index a web page, we add it to the entries for all of the words it contains.”–“在我们索引的每个网页上看到的每个词都有一个条目。当我们索引一个网页时，我们将它添加到它包含的所有词的条目中。” （来源：Google，搜索算法的工作原理）
如果你认为你网站上以前编入索引的页面不再显示在 SERP 上，请使用URL 检查工具检查其状态。如果不再索引，请检查索引问题（例如，4xx 错误或 5xx 错误）。如果存在任何索引问题，请修复并请求重新抓取。
那么，索引和排名不是一回事吗？
当然不是了。当它索引一个页面时，谷歌只是将它添加到 SERP 中 – 它可以出现在第 1 页、第 101 页、第 1001 页等。就排名而言，你的最终目标是获得排名第一的位置，也就是SERP 的 #1 页。
那么，究竟什么是排名？
Google 的主要目标是为每个搜索查询返回最相关和高质量的结果。为此，Google 必须查看 Google 索引中的所有信息，并确定哪些结果最适合搜索查询。每次有人使用 Google 搜索时都会发生这种情况 – 这个过程称为排名。
为了找到最相关的结果，Google 的排名算法考虑了许多因素。有些与用户及其查询有关：
用户位置
浏览器历史
浏览器设置
查询中的关键字
搜索意图查询
其他与你的网站有关：
专业知识
内容相关性
内容质量
内容新鲜度
反向链接数
域权限 (DA)
网页权限 (PA)
可用性
其他更多
也就是说，排名是将 SERP 上的结果从最相关（显示在 #1 位置）到最不相关的过程。为了更好地检索每个查询的最佳结果（即排名），Google 每天都会对算法进行小幅调整。它们还具有广泛的核心算法更新，这极大地影响了 SERP 并影响了许多行业。
最终，搜索查询的页面排名越高：
页面与搜索查询的相关性越高
它的质量得分越高（尤其是与 SERP 上的其他结果相比）
抓取是扫描网络以获取新数据（新网页和更新页面）的过程
索引是在 Google 索引中组织和存储这些数据的过程
排名是为每个搜索查询确定每个网页在 SERP 上的位置的过程
