Search

虽然这并不被认为是禁止的

但最好指定适用于所有典型项目 URL 的通用指令。 robots.txt 指令 Robots.txt 指定了搜索算法的各种指令,这有助于机器人了解要索引或不索引的部分和页面。他们每个人都负责执行某些功能。 用户代理 它被认为是出现在文件开头的强制指令。确定指定规则适用于哪种搜索算法。 用户代理中可以列出的主要机器人类型: 谷歌(所有谷歌机器人); Googlebot(Google 的主要机器人); Googlebot-Image(索引图像); Yandex(所有 Yandex 机器人); YandexBot(Yandex 主机器人); YandexImages(索引图片); YandexMedia(索引视频和其他多媒体内容)。

如果为所有可能的搜索算法指

定了指令列表,则添加“*”。例如,User-agent: Yandex 表示该规则适用于 Yandex 机器人,而 user-agent: * – 表示适用于所有机器人。 不允许 最常见的指令,禁止对 俄罗斯号码 特定页面(服务、技术、分页、个人用户数据、资源内的搜索结果、重复项)或网站部分建立索引。 Disallow 允许使用特殊字符“*”和“$”。 索引禁止指令允许指定目录和部分名称,或文档的完整路径。例如: 为了完全禁止对文档建立索引,路径是从项目的根文件夹(图中以红色突出显示)确定的。

当禁止索引 2 级及更高级别的文档时

电话号码

会指示完整路径或在地址前面放置“*”号(图中的蓝色箭头)。 当禁止对目录建立索引时,属于该部分的所有页面都将被禁止(图中的绿色箭头)。 您还可以禁止对地址中包含特 伯利兹 电话号码列表 定字符的文档进行索引(如粉色箭头所示)。 允许 相反,该指令与 Disallow 不同,允许搜索机器人绕过网站的指定页面或部分。除非指定其他要求,否则站点上的所有文档均默认设置。与 Disallow 一样,Allow 指令允许使用特殊字符,并且可以: 允许索引地址包含特定字符的文档。

Leave a Reply

Your email address will not be published. Required fields are marked *