Robots.txt 是一个文本文档，对任何网站的索引和推广都有重大影响。使用该文件，资源所有者指示搜索机器人在爬网时需要（或不需要）考虑网站的哪些部分。 内容： 什么是 robots.txt 为什么需要它？ 哪里 如何创建 如何设置 robots.txt 指令 用户代理 不允许 允许 网站地图 清洁参数 爬行延迟 主持人 从索引中排除什么 适用于 […]