您是否为国际Googlebot配置了您的网站？

每隔一段时间，搜索引擎优化世界就会受到一个重大的转变，将其虚拟的构造板块动摇到核心。今年1月，这场即将发生的地震的震颤没有被注意到。这一特点是改变了搜索引擎优化最佳实践的基础国际。

1月份，Google通过Accept–LanguageHTTP标头增强了其Googlebot根据用户位置（以IP地址表示）和首选语言设置评估内容更改方式的能力。如今，越来越多的企业对其网站进行了重组，以便能够根据用户的语言或国家/地区动态提供内容。

Google如何抓取和索引国际内容

谷歌本身已经承认，它有一些问题，以这种方式识别和索引不同语言的国际内容/内容。根据Google Search Console的帮助部分，Google可能在某些情况下无法抓取，排名或索引国际内容，因为其抓取工具的默认IP地址来自美国。

此外，Googlebot爬网程序当前发送HTTP请求，而无需在标头中配置Accept-Language设置。 Google详细描述了如何跳过一些区域设置自适应页面。

对于Google来说，为了方便对这些区域设置自适应页面进行爬网和索引，它使用了区域设置感知的爬网模式，这为全球搜索者提供了更好的内容。区域感知爬网发生在Googlebot在以下任一或两种配置下爬网的情况下:

机器人看起来像是在使用源自美国以外的IP地址以及历史悠久的美国IP地址。 Google建议将看起来来自某个国家/地区的Googlebot视为来自该国家/地区的用户。

因此，例如，如果允许来自巴布亚新几内亚的用户查看您网站中的某些内容，但来自德国的用户不允许，则应该允许来自前者的Googlebot，而不应该允许来自后者。随着时间的推移，Googlebot似乎来自的国家/地区的IP地址列表将发生变化。

机器人将使用HTTP标头中配置的Accept-Language字段进行爬网。对于此类内容，Googlebot应用许多信号，尝试通过应用各种接受语言HTTP标头来抓取此类网站的内容。因此，Google有更好的机会以支持的不同语言发现，索引和排名该页面的内容。

因此，区域设置自适应站点需要确认其站点具有支持这两种爬网模式的配置。目前，机器人可以识别某些信号，以评估网站是否具有区域设置自适应内容，其中包括:

因此，让客户为国际/非英语受众生成内容的Seo也需要了解即将到来的Googlebot爬行变化的影响，并知道如何检查他们的网站是否具有配置以促进Google的国际爬行。

从1月份开始，Googlebot能够从美国以外的国家/地区的IP地址进行抓取。根据IP地址位置，Google能够了解特定页面/网站提供的内容对国际用户来说是否不同。它还可以评估该页面/网站的新发现版本是否与某个国家的用户更相关。

可以想象，通过确保为他们的国家/地区创建的网站/页面版本在他们的搜索结果中可见，这为非英语用户的搜索体验提供了显着的改善。

如果您或您的客户的网站根据用户的IP地址提供区域设置自适应的动态内容，则可以使用国际代理服务进行检查。最爬行者像尖叫青蛙允许代理配置，这将使自动识别搜索引擎优化非优化从国际用户的角度。

更多的网站正在自动使用Accept-Language标头设置来更改其web内容的语言。 Google的区域设置自适应抓取方案现在可以向网站发送动态请求。机器人将发送对网站上特定页面的请求，并指定首选语言。

效果类似于您根据您的语言首选项配置自己的浏览器。铬合金>>Preferences>>Languages如果使用谷歌浏览器。（您可能必须单击首选项菜单中的"高级设置"才能找到它。)

您可以使用Merkle的Locale-adaptive Pages测试工具，并规定要检查的特定语言。您可以指定多达10个网址，并从Google，Bing或普通用户代理中选择，然后运行该工具。

从结果中，您可以判断哪些站点具有正确的配置，即使您的所有内容都根据Accept-Language标头设置动态更改。对于正确配置的页面，Accept-Languagesetting（第一列）应与Content-Language设置（第四列）匹配。

Googlebot国际爬行计划的变化可能对今天的SEO没有那么大的影响，但它有望在未来产生巨大的影响。

除了通过区域感知抓取解决动态提供内容的问题外，重要的是要注意，Google仍然倾向于使用单独的Url，这些Url已使用rel=alternate hreflang注释为不同的内容正确注释。

你需要了解这带来的矛盾。为什么谷歌赞成使用单独的网址？可能是因为随着更多的网站加入动态服务内容的行列，Google会发现很难识别当前存在的内容？这种可能性不仅仅是一个小小的优点。

随着越来越多的网站通过提供区域设置自适应内容来重组自己以满足国际用户的需求，Google必须开发更多的抓取配置以保持对内容的了解，从而能够虽然可以在小规模上管理，但考虑到大规模应用区域适应性的影响，无疑会使搜索引擎巨头处于岌岌可危的地位。