robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取...1、写好之后把文件重命名为：robots.txt然后用FTP上传到网站的根目录下面，切记不是主题的
本文由站长之家合作伙伴自媒体作者“xxjz”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。