由于某种原因，这些文档位于从机器人关闭的目录中（如图中红色箭头所示）。 有必要考虑使用指令的规则，即相应组中的Allow和Disallow按URL前缀的长度排序并按顺序使用。 允许 该指令告诉机器人 XML 站点地图的位置。建议您指定完整的 URL 路径。如果资源上有多张卡，则允许注册相同数量的地址。例如： User-agent: * Sitemap: https://сайт.ru/sitemap-1.xml Sitemap: https://сайт.ru/sitemap-2.xml 指令中写入的特殊字符含义如下： “*” – 任意字符序列（默认添加在每个指令的末尾）； “$”——取消规则末尾的“*”符号； “#” – 用于注释，即搜索机器人不会考虑该符号后指定的信息。
清洁参数 该指令禁止机器人抓取带有完
全复制主页内容的动态参数的地址。这种情况对于在线购物网站来说更为典型，即它适用于用于个人用户标识符和跨会话源的数据传输的 URL。 clean-param 用于从站点地址 俄罗斯号码 中删除参数。通常可用于去除跟踪标记、过滤器等。 该指令适用于 Yandex，因为为了 Google bot 正确处理信息，已经开发了 Search Console 中的“URL 参数”功能。 爬行延迟 该指令限制机器人的访问频率，即它以秒为单位设置加载一个文档结束与下一个文档开始之间的最小时间间隔。
由于该指令服务器上的负载减少了
这对于具有大量部分和页面的大型门户尤其重要。 仅 Yandex 机器人会考虑抓取延迟（尽管当前不支持该指令）；Google 使用“站点设置”功能（位于搜索控制台中）。 主持人 该 贝宁 电话号码列表 指令旨在向主 Yandex 机器人指示资源的主镜像（如果通过多个域访问该站点）。然而，自 2018 年起，这些指令不再受支持，因为类似的功能是由“网站站长”中的“站点移动”部分和第 301 次重定向执行的。 为了在Google中正确显示主镜像，需要使用“站点设置”工具，可以在Search Console中访问该工具。
