本文目录一览：

• 1、静态站点页面robots.txt写法

静态站点页面robots.txt写法

并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为是网站重复的内容。robots.txt文件里还可以直接包括在sitemap文件的链接。

你直接找到你默认的那个文件看看里面是怎么配置的，照着它的配置方法配置成你想要的就行了，如果你一点代码常识都没有就没办法了。

这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

所有人的回答都是商量好的吗？这不是误人子弟吗？正确的写法是：User-agent： Googlebot allow：/ User-agent： Baiduspider allow：/ User-agent：Disallow： / 注意： allow是允许，Disallow是禁止。