Robots Exclusion Checker

• 简介：开发者工具
• 攻略：下载的 crx 插件如何安装到浏览器上？

检查 robots.txt、元机器人、带有 URL 警报的 x-robots-tag。规范警告、HTTP 标头信息。一个 SEO 扩展，机器人测试员。
机器人排除检查器旨在直观地指示是否有任何机器人排除阻止您的页面被搜索引擎抓取或编入索引。
## 扩展报告了 5 个元素：
1.机器人.txt
2. Meta Robots 标签
3. X-robots-tag
4.Rel=规范
5. UGC、Sponsored 和 Nofollow 属性值 *NEW*
- 机器人.txt
如果您正在访问的 URL 受到 robots.txt 中“允许”或“禁止”的影响，扩展程序将向您显示扩展程序中的特定规则，以便您轻松复制或访问实时 robots.txt。您将还可以显示完整的 robots.txt，其中突出显示了特定规则（如果适用）。酷啊！
- 元机器人标签
任何将机器人引导至“index”、“noindex”、“follow”或“nofollow”的 Robots Meta 标签都会标记相应的红色、琥珀色或绿色图标。将显示不会影响搜索引擎索引的指令，例如“nosnippet”或“noodp”，但不会被纳入警报。该扩展程序可以轻松查看所有指令，并向您显示源代码中显示的完整 HTML 元机器人标签。
- X-robots-标签
在 HTTP 标头中发现任何机器人指令在过去有点痛苦，但不再使用这个扩展。任何特定的排除项以及完整的 HTTP 标头都将非常明显 - 也突出显示了特定的排除项！
- 规范标签
尽管规范标签不会直接影响索引，但它仍然会影响您的 URL 在 SERPS（搜索引擎结果页面）中的行为方式。如果您正在查看的页面允许机器人访问，但检测到规范不匹配（当前 URL 与规范 URL 不同），则扩展程序将标记一个琥珀色图标。从 HTML 和 HTTP 标头响应中的每个页面收集规范信息。
- UGC、赞助和Nofollow
扩展的新增功能使您可以选择突出显示使用“nofollow”、“ugc”或“赞助”rel 属性值的任何可见链接。您可以控制突出显示哪些链接并为每个链接设置您的首选颜色。我希望您禁用此功能，您可以完全关闭。
## 用户代理
在设置中，您可以选择以下用户代理之一来模拟每个搜索引擎可以访问的内容：
1. 谷歌机器人
2. 谷歌机器人新闻
3. 必应
4. 雅虎
＃＃ 好处
此工具对从事搜索引擎优化 (SEO) 或数字营销工作的任何人都非常有用，因为它会在页面被 robots.txt 阻止时提供清晰的视觉指示（许多现有扩展程序并未对此进行标记）。抓取或索引问题直接关系到您的网站在自然结果中的表现，因此此扩展程序应该是您的 Google Chrome SEO 开发人员工具包的一部分。在线提供的一些常见 robots.txt 测试器的替代方案。
此扩展程序适用于：
- 多面导航审查和优化（有助于查看复杂/堆叠面背后的机器人控制）
- 检测爬网或索引问题
- 在您的浏览器中进行一般 SEO 审查和审核
## 避免需要多个 SEO 扩展
在机器人和索引领域内，没有更好的扩展可用。事实上，通过安装 Robots Exclusion Checker，您将避免在 Chrome 中运行多个会降低其功能的扩展程序。
类似的插件包括：
不关注
https://chrome.google.com/webstore/detail/nofollow/dfogidghaigoomjdeacndafapdijmiid
机器人
https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp
NoIndex,NoFollow Meta 标签检查器
https://chrome.google.com/webstore/detail/noindexnofollow-meta-tag/aijcgkcgldkomeddnlpbhdelcpfamklm
变更日志：
1.0.2：修复了阻止元机器人在 URL 更新后更新的错误。
1.0.3：各种错误修复，包括更好地处理带有编码字符的 URL。 Robots.txt 扩展功能，允许查看超长规则。现在 JavaScript history.pushState() 兼容。
1.0.4：各种升级。添加了带有琥珀色图标警报的规范标签检测（HTML 和 HTTP 标头）。 Robots.txt 现在完整显示，并突出显示了相应的规则。 X-robots-tag 现在在完整的 HTTP 标头信息中突出显示。各种用户体验改进，例如“复制到剪贴板”和“查看源”链接。添加了社交共享图标。
1.0.5：当扩展检测到 URL 更改但没有新的 HTTP 标头信息时强制后台 HTTP 标头调用 - 主要用于严重依赖 JavaScript 的站点。
1.0.6：修复了进行规范检查时 URL 哈希部分的问题。
1.0.7：除了 HTTP 标头之外，还强制进行后台正文响应调用，以确保 JavaScript 重度站点的 URL 的非缓存视图。
1.0.8：修复了在 robots.txt 文件中检测到对同一用户代理的多个引用时发生的错误。
1.0.9：修复了规范不匹配警报的问题。
1.1.0：各种 UI 更新，包括当扩展检测到没有新 HTTP 请求的 URL 更改时的 JavaScript 警报。
1.1.1：添加了额外的逻辑元机器人用户代理规则冲突。
1.1.2：添加了德语用户界面。
1.1.3：添加了 UGC、赞助商和 Nofollow 链接突出显示。
1.1.4：在新安装时默认关闭 nofollow 链接突出显示，并修复了与 HTTP 标头规范不匹配相关的错误。
1.1.5：修复了改进 robots.txt 解析器的错误。
1.1.6：扩展现在以红色标记 404 错误。
1.1.7：在后台请求获取使用 pushstate 导航到的页面时不发送 cookie。
发现错误或想提出建议？请通过电子邮件扩展@ samgipson.com