但最好指定适用于所有典型项目 URL 的通用指令。 robots.txt 指令 Robots.txt 指定了搜索算法的各种指令，这有助于机器人了解要索引或不索引的部分和页面。他们每个人都负责执行某些功能。 用户代理 它被认为是出现在文件开头的强制指令。确定指定规则适用于哪种搜索算法。 用户代理中可以列出的主要机器人类型： 谷歌（所有谷歌机器人）； Googlebot（Google 的主要机器人）； Googlebot-Image（索引图像）； Yandex（所有 Yandex 机器人）； YandexBot（Yandex 主机器人）； YandexImages（索引图片）； YandexMedia（索引视频和其他多媒体内容）。
如果为所有可能的搜索算法指
定了指令列表，则添加“*”。例如，User-agent: Yandex 表示该规则适用于 Yandex 机器人，而 user-agent: * – 表示适用于所有机器人。 不允许 最常见的指令，禁止对 俄罗斯号码 特定页面（服务、技术、分页、个人用户数据、资源内的搜索结果、重复项）或网站部分建立索引。 Disallow 允许使用特殊字符“*”和“$”。 索引禁止指令允许指定目录和部分名称，或文档的完整路径。例如： 为了完全禁止对文档建立索引，路径是从项目的根文件夹（图中以红色突出显示）确定的。
当禁止索引 2 级及更高级别的文档时
会指示完整路径或在地址前面放置“*”号（图中的蓝色箭头）。 当禁止对目录建立索引时，属于该部分的所有页面都将被禁止（图中的绿色箭头）。 您还可以禁止对地址中包含特 伯利兹 电话号码列表 定字符的文档进行索引（如粉色箭头所示）。 允许 相反，该指令与 Disallow 不同，允许搜索机器人绕过网站的指定页面或部分。除非指定其他要求，否则站点上的所有文档均默认设置。与 Disallow 一样，Allow 指令允许使用特殊字符，并且可以： 允许索引地址包含特定字符的文档。
