什么是Noindex?

Noindex是一条规则,它告诉像Google这样的搜索引擎不要为给定的网页编制索引-以防止它存储在用于显示搜索结果的数据库中。

这意味着当你不索引一个页面时,搜索引擎不会保存该页面。 当人们在线查找信息时,它不会显示在搜索结果中。

您可能不需要索引您不希望公众看到的页面。 喜欢您网站上的私人内容或PDF页面。

在这篇文章中,我们将介绍有关有效使用noindex规则的所有信息。

但首先,让我们来看看为什么你应该首先关心noindex指令。

为什么Noindexing在SEO中很重要?

Noindex规则可帮助您控制哪些页面被搜索引擎索引。 这可以让你影响你的网站的搜索引擎优化(SEO)性能。

例如,假设您有薄页面(那些价值不大的页面),由于某种原因无法删除这些页面。

在这些低质量页面上使用noindex规则可以防止它们对您网站的SEO性能产生负面影响。 而是将搜索引擎的注意力集中在其他更重要的页面上。

也就是说,您不想意外地noindex您网站上的任何重要页面。 如果你这样做,他们不会在搜索结果中排名。 损害你的能见度和交通。

所以,总是仔细检查你的noindex实现。

何时使用Noindex指令

各种类型的内容是使用noindex规则的主要候选内容。 其中包括:

  • 薄页:这些页面没有为用户提供太多价值,因此它们可能会损害您的SEO性能
  • 暂存环境中的页面:这些网页并不是供公众看到或使用的。 它们旨在让您的团队进行更新和检查。
  • 内部管理页面:这些页面是为你和你的团队准备的。 因此,您不希望它们出现在搜索结果中。
  • 谢谢页面:这些页面会在用户完成下载或购买等操作后显示给用户。 您不希望人们直接从搜索结果中找到这些页面,因为这可能会使他们感到困惑。
  • 可下载内容:这些页面是用户通过填写表单访问的资源。 所以,你不希望潜在的潜在客户在不提供他们的联系信息的情况下找到他们。

如何取消索引页面

现在您已经知道哪些页面需要noindexed,现在是时候开始实际实现了。

有两种方法可以实现noindex规则:

  1. 作为HTTP响应头中的X-Robots-Tag,这对于Pdf,图像和视频等非HTML文件很有用
  2. 作为HTML中的元标记,这对大多数网页都很有用

通过HTTP头方法实现noindex规则是相当技术性的,需要服务器级别的更改。

基本上,您需要在其中一个服务器配置文件中添加一行代码(通常.htaccess,htaccess).

对于Apache服务器(最广泛使用的web服务器之一),如果您想在整个网站上noindex所有PDF文件,则代码如下所示。


标题集X-机器人-标签"noindex"

考虑到所涉及的复杂性和潜在风险,我们建议向开发人员寻求帮助。 因为即使是一个小的语法错误也会破坏你的网站。

至于元标记noindex方法,它相对简单,可以直接在页面的HTML中实现。

标签进入

节和看起来像这样:

如果您使用的是像WordPress这样的内容管理系统(CMS),则通常可以使用SEO插件来实现noindex元标记,而无需直接编辑代码。

要做到这一点,使用Yoast SEO插件,在编辑器中打开要noindex的页面,向下滚动到Yoast SEO部分,然后单击"高级"tab。

advanced tab in yoast seo

在"允许搜索引擎在搜索结果中显示此内容?,"选择"No"从下拉。

no option selected to clock search engines from indexing the page

然后,保存帖子。

使用排名数学搜索引擎优化插件,在编辑器中打开要修改的页面,转到Rank Math SEO部分,然后单击"高级"tab。

在"机器人元"下,取消选中"索引"旁边的框,然后选中"无索引"旁边的框。

no index option selected

保存帖子以更新您的设置。

使用Noindex规则的最佳实践

在使用noindex指令时,请记住以下一些最佳实践。

1. 不要Noindex要出现在搜索结果中的页面

Noindex规则可防止页面被编入索引并显示在搜索结果中。 所以,如果你想通过搜索找到一个页面,不要noindex它。

使用Semrush的现场审核工具,以确保你不小心noindexed重要页面。

打开该工具,输入您的域名,然后单击"开始审核.”

domain entered into 现场审核 tool

按照提示配置您的设置。

完成后,点击"开始现场审核.”

site audit settings pop up

审核完成后,前往"问题"tab。 并使用搜索栏输入"noindex。”

您将看到noindex标签阻止的页面数量或机器人。txt脧脗脭脴(该文件告诉搜索引擎哪些页面应该和不应该被抓取)。 您还将看到是否使用X-Robots-Tag方法对任何页面进行了索引。

search for noindex issues shows 210 pages are blocked from crawling

单击任一问题中的蓝色数字以查看受影响页面的列表。 并验证这些页面都没有意外地被noindexed。

page urls blocked from crawling

2. 不要试图阻止索引使用你的机器人。txt文件

机器人。txt文件告诉搜索引擎抓取哪些页面-而不是索引哪些页面。

即使你在机器人中阻止了一个页面。txt,搜索引擎可能仍然索引它,如果他们找到链接到它从其他网页。

另外,您实际上需要搜索引擎能够抓取您的页面,以便他们看到noindex标签。

检查你的机器人。txt文件,以确保它没有阻止你想要noindex的页面。

您可以通过访问"[yourdomain.com]/机器人。txt脧脗脭脴。"

在你的机器人中寻找"不允许"指令。txt文件。

youtube's 机器人。txt脧脗脭脴 file disallows indexing /login, /signup, /verify_age, and more pages

这些告诉搜索引擎他们不应该访问哪些页面或目录。 因此,请确保此处未列出要noindex的页面。

3. 采取措施解决可能出现的Nofollow问题

如果您阻止出现在搜索结果中的网页是指向您的其他页面的唯一链接,Noindexing可能会损害您的搜索引擎优化。

怎么样?

搜索引擎只会在一段时间内跟踪一个没有索引的页面上的链接。 并最终将这些链接视为nofollow(即,它们不应该被遵循或通过排名强度)。

如果您的网站上有很少内部链接的其他页面,并且其中一些链接来自您的noindexed内容,搜索引擎可能会更难找到这些其他页面。

因此,它们可能不会出现在搜索结果中。 即使你想让他们这么做。

使用方法现场审核要查找"#页面只有一个传入的内部链接"通知,请单击蓝色数字。

site audit shows 26 pages have only one incoming internal link for this example domain

然后,您将看到受影响的页面。

list of pages with only one incoming internal link

工作纳入更多的链接到这些网页在您的网站。

即使唯一传入的内部链接不是来自noindexed页面,这也是一个好主意。

4. 不要对重复的内容使用Noindex指令

重复内容是当您有两个或多个页面具有完全相同或非常相似的内容时。 这使得搜索引擎很难决定在搜索结果中索引和排名哪个版本。

original content vs copied word for word vs slightly rewritten all affect seo

在重复页面上使用noindex标签似乎是一个不错的选择,但这不是最好的解决方案。

相反,请考虑使用规范标签.

他们告诉搜索引擎哪个版本的页面是主要的,应该被索引。 最重要的是,它们还巩固了从所有版本到主页面的排名实力。

5. 如果没有索引的页面仍然出现在搜索结果中,请求重新搜索

如果自您添加noindex标签以来Google尚未重新包装该页面,则Noindexed页面可能仍会显示在搜索结果中。 但是,您可以通过手动请求重新搜索来加快此过程。

要做到这一点,请使用谷歌搜索控制台(GSC)。

登入GSC并点击"URL检查"在左侧菜单中。

url inspection tab

现在,粘贴您希望Google重新抓取的页面的URL。 然后点击返回。

url entered into google search console search bar

并点击"请求索引."

request indexing button highlighted

然后,Google将重新整理此页面。

6. 定期查看您的无索引页面

不时检查您的noindexed页面非常重要。 因为错误可能在你没有注意到的情况下发生。 就像你团队中的某个人不小心没有索引一个页面一样。

通过定期监控您的noindexed页面,您可以快速找到并修复这些错误。 所以你看不到性能下降。

使用现场审核工具。

为了使事情更容易,安排定期扫描。

就去"时间表"设置期间的选项卡。 并选择在点击之前每周监控您的网站的选项"开始现场审核.”

site audit schedule tab highlighted with option to run the audit weekly, every sunday.

这次审计将每周进行一次. 因此,您可以随时掌握未来可能出现的任何问题。

雷切尔 汉德利
Rachel是一名资深内容作家,在内容营销和SEO方面拥有12年以上的经验。她曾在代理机构工作,为各种品牌制定和执行内容战略,并在内部推动SaaS初创公司的有机增长。