首先robots.txt屏蔽域名，你要明白robots文件怎么写一般允许抓取robots.txt屏蔽域名的话是 allow 就可以robots.txt屏蔽域名了。

漫游器失败 在抓取您robots.txt屏蔽域名的网站之前robots.txt屏蔽域名，Googlebot 会访问您的 robotstxt 文件，以确定您的网站是否会阻止 Google 抓取任何网页或网址如果您的 robotstxt 文件存在但无法访问也就是说，如果它没有返回 200 或 404。

关于robots.txt屏蔽域名的信息 第1张

要阻止 Googlebot 抓取特定文件类型例如，gif的所有文件，可使用以下 robotstxt 条目Useragent Googlebot Disallow *gif 要阻止 Googlebot 抓取所有包含 的网址具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串，可使用以下条目Useragent。

robotstxt撰写方法1，允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档，命名为robotstxtUseragent*Disallow或者Useragent*Allow 2，禁止所有搜索引擎访问网站的所有部分Useragent*Disallow 3，禁止百度索引你的网站UseragentBaiduspiderDisallow。