Robots.txt

Robots文件相信做网站的人们多少都有接触过，Robots文件就是我们网站根目录里的Robots.txt文件，Robots.txt文件是一种搜索协议，被简称为“Robots协议”…