概念
百度百科：robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。
简单来说即：robots协议是一个君子协议，是网站所有者编写的，用来告诉搜索引擎该网站下的哪些内容可以爬取、收录，哪些内容不可以爬取和收录。
robots协议是通用共识，一般来说，大型的、有资质的搜索引擎都会遵守，robots协议是网站所有者不想要公开在网上的内容，是为了保障个人隐私，但是robots协议里规定的内容是可以获取的，只是大家默认遵守该协议，不获取协议内的内容。
robots协议是一个纯文本文件，通常是搜索引擎第一个爬取的文件，搜索引擎该文件了解该网站哪些是所有者不想被收录的内容，进行有选择的爬取和收录。
文件编写规则
robots协议命名为robots.txt，放在网站的根目录下。
简单的robots协议如下：
User-agent: *
Disallow: /*?*
其中User-agent代表要遵守该协议的搜索引擎，如果是通配符‘*’，代表所有搜索引擎都要遵守该协议。
Disallow代表不允许搜索引擎访问的内容，/*?*代表不允许搜索引擎访问所有带？的路径内容，/代表不允许搜索引擎访问该网站所有内容。
实际环境中，网站所有者依据个人情况编写该文件，robots协议的编写会影响网站的收录情况和搜索引擎的效率。
