第一步:新建robots.txt文件(此处命名必须为robots.txt,小写)
第二步:复制如下代码到robots.txt文件,(代码/dede/中dede为系统默认文件名,如更改则填写新的文件名,如/zgwangzhan/,Sitemap后面网址为您的您的当前所用域名,如http://www.duanmilin.com/sitemap.xml)
User-agent: *
Disallow: /data/
Disallow: /dede/
Disallow: /images/
Disallow: /include/
Disallow: /plus/
Disallow: /special/
Disallow: /templets/
Disallow: /uploads/
Sitemap: http://www.zgwangzhan.com/sitemap.xml
复制代码
第三步:上传robots.txt文件至网站根目录,测试域名/robots.txt,(如http://www.zgwangzhan.com/robots.txt),能访问到则为上传成功