若Disallow 则禁止爬取所有内容根据域名屏蔽爬虫，未被禁止路径默认可被爬取避免禁止过多内容，以免影响收录，且应关注robots协议根据域名屏蔽爬虫的使用细节robots协议注意事项包括不完全禁止爬虫，避免封锁后长时间影响收录代码格式需正确，如“Disallow *根据域名屏蔽爬虫？* ”静态路径需屏蔽动态链接，避免重复收录根据网站实际情况调整。

根据域名屏蔽爬虫 - 谷歌防红💯域名防红解决,TG：@AICDN8 第1张

爬虫君子协议，一个指导爬虫行为的准则，通过放置于网站根目录的文本文件，明确指示哪些内容可被抓取，哪些不可查看路径简单，只需在网站域名后加上robotstxt协议规则由`Useragent`和`Disallow`两部分组成`Useragent*`面向所有爬虫，`Useragent 具体爬虫名`则针对特定爬虫设定限制`。

禁止所有搜索引擎访问网站的任何部分 UseragentDisallow 在根据域名屏蔽爬虫他网站根目录下放个robotstxt文件，然后 写上上面的内容，就没有收录了。