在进入你的网站可能出现的原因列表之前，你应该通过这个快速的预清单，列出你应该做的事情和你应该设置的事情。 虽然他们可能无法解决问题，但他们可能会帮助您缩小范围，让您不必在清单上逐项检查以找出真正的罪魁祸首。

审计前核对表

• 你有谷歌搜索控制台设置吗?

• 你有Bing网站管理员设置吗？

• Google Analytics是否设置和收集数据？ 如果你不确定，你应该先测试一下。

• 使用SEMrush审核工具和/或您选择的爬虫抓取您的网站。

对于那些更高级的人，你也应该:

• 访问您的cPanel或web主机的后端. 查找并查看您的日志文件。

  • 如果您已经拥有访问权限，强烈建议您查看日志文件，并确保显示用户和机器人会话。 你有没有看到？

现在您已经完成了这些项目，我们已经准备好进入您可能会发现的问题，导致您无法在Google中显示。

1. 搜索引擎可见性设置为WordPress中的"劝阻"

这是WordPress中经常默认打开的设置。 你会看到"阻止搜索引擎索引这个网站"旁边的框，这将更新你的机器人。txt给你，告诉搜索引擎，如Bing和谷歌走开。

即使您的网站已经生活了几天，几周或几年，当我听到网站所有者谈论进入搜索引擎时，这个设置也是我看到的第一件事。

2. 机器人。txt设置为Noindex

您可以通过转到HTTP或https://www.yourdomain.com/robots.txt. 如果您在机器人中看到以下代码。txt，你是在告诉搜索引擎不要抓取你的网站。

怎么会这样？ 有几个原因和方式倾向于发生:

• WordPress中的搜索引擎可见性按钮被选中（见#1）

• 代码的开发或暂存版本被转移到生产和机器人。txt出现了，它有这个不允许的代码。

• 页面上可能有错字，也可能是机器人周围的误解。txt以及它是如何工作的。

我经常看到的一个让我害怕的例子如下:

虽然这意味着您希望所有搜索引擎抓取您的网站，但它只是一个字符远离阻止您的网站从所有引擎。 通常情况下，我建议不要把这个放在你的机器人里。txt因为我总是担心有人会不小心出现并添加一个"/"并将网站从Google和Bing中删除。

测试工具

• 技术SEO的机器人测试仪 

• 谷歌的机器人测试仪通过GSC 

3. Noindex元标记

像#1和#2一样，这是从Google或整个网站中获取页面的可靠方式。 这可以通过WordPress插件添加到站点，甚至可以由某人硬编码到标题/站点模板中。

要检查这是否是问题，请执行以下操作:

• 在您选择的浏览器中打开您的网站

• 右键单击鼠标并选择"查看源"或"查看页面源"

• 搜索机器人

• 搜索noindex

找到哪些页面具有元标记的另一种方法是使用您选择的爬虫抓取您的网站，或者使用SEMrush网站审核工具. 两者都应该给你一个页面列表，然后你可以进一步深入你的CMS或代码并找出问题。

4. 主机或站点迁移

你最近有没有将你的网站移动到一个新的CMS，主题，Web主机，HTTP->HTTPs, or some other large migration? Did you also change lots of URLs and implement lots of 重定向或者也许没有重定向？ 所有这些事情，我刚刚列出了可能会影响你的网站在搜索引擎的眼睛，可能有他们非常困惑。

以下是HTTP的清单-> HTTPS and Website Migrations to help you (even if you already made the move, they should help you troubleshoot):

• HTTP到HTTPS：保护您的网站的完整指南

• Google文档中要共享、复制和下载的HTTP到HTTPs迁移清单

• SEMrush网站迁移清单

因此，如果您已经进行了迁移，则很可能您在其中一个清单中错过了某些内容。

5. JavaScript和巨型菜单

这些都是个别的问题，但它们经常一起出现。 如果您的所有导航都在JS中，引擎很难抓取，因此您更深的内部页面可能会成为孤岛和孤立页面。

如果您的网站纯粹基于JavaScript构建，那么您可能会遇到比Javascript中的大型菜单或菜单更大的问题。巴托斯和奥尼利队吃点吧围绕Javascript SEO的研究你可能想深入研究谷歌关于JavaScript SEO的系列.

说你实现了一个巨型菜单，并以搜索引擎优化友好的方式这样做，他们仍然可以是搜索引擎优化和爬行在其他方面的问题。 一个约翰*穆勒开始了一个Twitter上的线程许多人支持，讨厌和赞美Mega Menus的地方可能对你来说是一个有趣的阅读。

话虽如此，巨型菜单可能会导致问题，值得列入此列表。 如果您在使用抓取工具时遇到问题，请查看您的菜单代码，看看它是否正在创建1000s或10,000s代码行，并且是您出现问题的原因。

6. 重定向

#4可能是一个问题的主要原因之一是重定向。 更具体地说，问题是缺少重定向或重定向链。 如果您将站点移动到新域或将所有页面移动到新Url但未实现重定向，则抓取工具将只知道您的旧站点/页面，而不会知道新站点/页面。 我经常看到重定向是让网站和页面进入搜索引擎的主要问题，因为缺少重定向或重定向链。

如果你想知道什么是"重定向链"，那很简单。 它是具有多个301或302响应的页面的多跳。 浏览器或爬虫可能会看到这样的东西:

有一些复盖范围约翰*穆勒的评论（从2018年末开始）关于重定向，页面排名，以及为什么你应该尝试避免重定向链。

7. WWW或非WWW重定向

虽然这可能属于＃5，但我认为值得自己分开。 我曾经有一个客户是SaaS公司，当然，他们有一个服务的登录页面。 他们还有白标签合作伙伴和代码中的一长串检查，以确保基于cookie，referrer等显示正确的登录页面皮肤。

一个普通用户也没有看到的是，页面，不管是什么，经常会做一系列的重定向。 这些跳跃包括404，302，301，301和其他一些状态–简而言之，这是一团糟。 然而，产品团队担心，无论发生什么，我们都无法让登录页面出现在谷歌。

正如你可以猜到的，这是因为谷歌不知道登录页面的有效URL是什么。 现在，你的www，非www，HTTPS www和HTTPS非www主页都做了什么？ 他们都解决了，还是他们也像网球一样在比赛中反弹？

如果您不确定，我建议使用https://httpstatus.io/一个非常快速的检查方法。 只需放入您的域，选择"规范域检查"，然后点击检查状态按钮。

您希望看到的是您的域的4个版本中的3个重定向到第4个，如下所示:

8. 深度内容或点击深度

这通常被称为"从主页点击"或"点击深度"，这是造成分页的问题之一。 深度内容或内容许多点击远离主页最常见于非常大的电子商务网站和大型博客。

要查看您的点击深度以及当前受影响的内容，您可以使用您使用的网站爬虫或使用SEMrush审计工具. 这两种方法都可以帮助您识别5,6,7页面，有时甚至可以从主页上点击10+。

以下是SEMrush博客分页的屏幕截图，该博客通常也是深层内容的贡献者:

然而，SEMrush博客有几种方法可以找到内部链接-标签，用户/作者页面，博客文章中的内部链接等。 然而，在许多网站上，这些其他的内部链接方法并不是很好，网站只是使用博客主页，也许还有一些类别来尝试链接到100、1000甚至100,000s的产品和页面。 要更深入地了解分页，您应该阅读Arsen的帖子"分页;你做错了”.

因此，如果您的大部分内容不在Google或Bing中，而是从主页上点击5,6甚至10+，我建议您进行审核并寻找增加这些页面内部链接的方法。

9. 页面速度/页面加载时间

虽然我个人从未见过这种影响整个网站显示在Google/Bing中，但我已经看到它影响了特定的页面或页面类型。 仅仅因为我没有亲自看到缓慢的页面速度影响，整个网站并不意味着它也没有发生。

如果您的服务器没有响应或对搜索引擎响应缓慢，这种缓慢的响应将使您的网站看起来好像很慢（从技术上讲它是），并且发现您的网站排名很好或根本 也许更重要的是，我已经看到缓慢的页面会影响页面将用户转换为潜在客户和销售的能力，而这种影响对您的底线是最重要的影响。

要测试网站的速度，您可以使用许多工具，例如Google Search Console的新速度报告、谷歌分析,灯塔在Chrome中，或任何其他免费的测试人员在网络上可用。

图像源:https://webmasters.googleblog.com/2019/11/search-console-speed-report.html 

10. 多面导航

如果您仍在阅读此列表，并且没有标记您的网站以查找重复或精简的内容，那么问题可能是您的电子商务网站使用分面导航。 虽然这不仅是电子商务网站的问题，但它通常是人们会看到它的地方。

那么，什么是分面导航，为什么它会绊倒搜索引擎呢？ 蜘蛛陷阱。 爬行预算。 重复的内容。 这些只是一个做得不好的方面导航的一些负面影响。

整体分面导航对于用户和抓取工具来说可能很棒，但以下是您的网站可能存在的一些问题，这些问题可能会影响其抓取和排名的能力:

• 您使用URL变量来更改顺序并使其看起来像Google的新页面。 以下是3个Url，它们都呈现相同的列表，但似乎是3个唯一的页面。

  • /男人/？类型=鞋子&颜色=红色&尺寸=10

  • /男人/？颜色=红色&尺寸=10&类型=鞋子

  • /男人/？类型=鞋&尺寸=10&颜色=红色

• 多路径，即网站导航与网站搜索

  • 在百思买，当你深入到一个可安装和智能能力的电视，你得到https://www.bestbuy.com/site/tvs/smart-tvs/pcmcat220700050011.c?qp=features_facet%3DFeatures~Mountable

  • 然而，在Google中显示得很好的URL是https://www.bestbuy.com/site/searchpage.jsp?_dyncharset=UTF-8&browsedCategory=pcmcat220700050011&id=pcat17071&iht=n&ks=960&list=y&qp=features_facet%3DFeatures~Mountable&sc=Global&st=pcmcat220700050011_categoryid%24abcat0101001&type=page&usc=All%20Categories

• 问题：有限的爬网深度-有时，限制选项的修正也会限制可供排名的网页，而不是你最好的一步。 例子：:

  • 向下钻取Grainger到https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots?attrs=Material+-+Machining%7CHigh+Speed+Steel&filters=attrs

  • 在google搜索"带有内置飞行员的高速钢Counterbores"时，类似但不完全的页面正在排名—https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots.

虽然每种情况都是独一无二的，但解决方案通常包括:

• 规范标签

• 通过Meta标签禁止

• 不允许通过机器人。txt脧脗脭脴

• Nofollowing内部链接

• 使用JavaScript+其他方法隐藏链接

11. 您的网站有手动或算法惩罚

在某种程度上，这与＃5相反。 而不是没有链接，你的网站可能有链接，很多甚至，但他们是有毒和可疑的品种。 您也可能被黑客入侵并从索引启动，但更有可能的是，您只是有太多有毒链接。

那么你怎么知道你是否有点球呢？ 谷歌和Bing应该告诉你。 要仔细检查，你可以在你的网站上找到更多信息:

• 打开Google搜索控制台

• 打开Bing网站管理员工具

• 打开与Google Search Console关联的电子邮件地址（或发送警报的电子邮件）。 做一个搜索"谷歌"，"惩罚"，看看你是否错过或意外删除了谷歌的通知。

至于什么是坏的与好的链接的主题已经在网站上复盖，我不会进入它，但如果你确实因为链接而受到惩罚，你应该看看Ross Tavendale的关于评估链接的每周智慧.

12. 您的网站缺少链接

如果你有一个新的网站，很可能你没有或很少的链接。 由于没有网站从100s和1000s的链接开始，因此可能需要一些时间。 看看你的谷歌搜索控制台或在SEMrush反向链接分析检查你有多少个链接。

即使没有任何链接，Google和Bing也会抓取您的网站，但如果没有它们，您很可能不会出现许多竞争性关键字。 因此，如果您发现您的网站在技术上是合理的，那么您的内容是可以完成的，并且一般来说，您的现场搜索引擎优化已经到位，那么您缺乏链接并且搜索引擎没有优先考虑您的网站的想法是一个非常现实的问题。

我已经对网站进行了排名，看到他们一直没有或很少的链接，但你不能指望网站和行业总是发生这种情况。

13. 您的网站缺乏内容（和上下文）

视觉与内容通常有视觉方面的胜利。 然而，这导致许多网站在视觉上可能非常吸引人，但在网站上几乎没有内容和上下文的空间。 想想一个艺术画廊，地板和墙壁将是白色或非常简单，但让艺术脱颖而出。 也许旁边会有一个非常小的牌匾，上面写着艺术家的名字，也许还有艺术品的名字。 如果您的网站相似，则没有上下文，搜索引擎需要上下文来更多地了解艺术，艺术家以及为什么它在画廊中。

通常网站会把所有的内容放在一个图像中，在一个页面上只使用稀疏的文本，而一个图像或者在很多情况下，从来没有真正在文本中拼写出公司所做的 正如我的同事在我们的播客指南-这是所有关于找到你的角度，告诉你的故事。

通过复制页面的主要文本并将其显示给某人来测试您的网站和页面–询问他们页面的内容，询问他们有什么问题，并要求他们回答有关您的业务/服务/产 如果你有很少的内容和没有上下文，他们可能会在所有这些任务中得分很差。

如果你是一个海鲜餐厅，但从来没有提到海鲜或任何类型的鱼，用户或搜索引擎如何理解你的网站是关于什么？ 如果你是一个草坪护理服务，但没有列出你的任何产品，用户或搜索引擎如何知道你这样做？

如果你对一个产品的描述和其他网站一样，都是30个短词，那么用户或搜索引擎如何真正理解你在卖什么？

14. 你有很多内容。 大量重复的内容，即

如果你有一个10页的网站，6是为你附近的城市都有80-99％的相同内容，你很可能会有问题排名。 这同样适用于具有10-30博客文章但10类别页面和100标签页面的网站。 薄和重复内容的数量非常高，因此，您网站的感知价值将很低。

另外，想想用户试图在您的网站上找到某些内容，以及他们可能不关心这些薄页面，那么为什么搜索引擎想要对它们进行排名，更不用说抓取它们了？

要深入了解识别重复内容，您可以阅读如何识别重复内容，这将引导你通过刮你的网站。

查找重复内容的另一种选择是使用SEMrush网站审核工具. 如果SEMrush站点审核机器人识别出内容具有80％相似性的多个页面，它会将其标记为重复内容。 此外，内容太少的页面也可能被视为重复内容。 运行审核后，您将看到此屏幕:

在上面的示例中，问题只是页面2应该在最近的更新中被重定向并且被错过了。

因此，如果您在搜索引擎中遇到问题，请查看您的内部页面，看看它们是否太相似，但与其他网站相比，还要查看您的内容。 一些与联盟和电子商务网站共同的事情是，10s，如果不是100s的网站都使用相同的产品描述。 如果您的网站有100种产品，并且其中任何一种都没有什么独特之处，那么您将发现很难获得您想要的关键字的排名。

15. 您的关键字具有竞争力

这可能是我建议检查的第一件事之一，但也可能是最后一件事。 通常问题并不是一个网站没有出现，而是它没有出现行业关键字和目标关键字，首席执行官或某人希望看到一个网站出现。

看看Nikolai Boroda的这篇文章，它潜入关键词研究，并采取一个刺，并试图更好地定义你的目标关键字（和你的老板的期望）。

这并不是说有一天，你不会在你的行业中竞争最具竞争力的关键字，但如果你的网站是新的，你需要建立起来，应该首先从你的品牌和更长的尾部关键字开始。

你遇到过这些问题吗？ 在评论中告诉我们您是如何处理它们的。