1、呵护网站隐私 ，何写阻拦信息泄漏 。甚用
2 、何写站内那些页面需求介入排名，甚用站内涵优化的何写角度说，公允抓取成本 。甚用樊篱内容 ，何写不想被抓取的甚用隐私内容 、布景 、何写数据库文件 、甚用模板 、何写插件文件···或做了伪静态就樊篱静态路途 。甚用
3、樊篱残剩页面和几回页面（静态和静态 ，多路途的不合页面）中文链接 樊篱作古链接。
做优化必须求写robosts ，搜刮引擎和网站的一个和谈
①写robosts ：新建一个文本robosts.txt文件 蜘蛛的名（百度spider）
②User-agent 用户代办代办代办代理 ，定义搜刮引擎圭表类型 ，该只用于描摹搜刮引擎robot的名字。
③Disallow ：不盼看被访谒的一组URL ，定义阻拦抓取收录地址
④Allow:希看被访谒的一组URL
⑤*它可以庖代字母，后背加* 就是这个文件回尽
⑥$停止符
⑦樊篱网站若何写 开首都是除夜写，英文的冒号 英文的空格
⑧/是根目次的意思
写robots的有奏效周期和损掉落踪落效期的
当根目次 到 栏目中个中一个文件路途举例：wwwroot/搜刮引擎优化me/inges/jixiang.js
1、不想让蜘蛛抓取一个栏目（搜刮引擎优化me）如图 ：
2.不想让蜘蛛抓取jixiang.js如图
3 、禁尽予抓取imges这个文件的内容 ，可是准予抓取jixiang.js
4、若何樊篱文件的全数静态文件 。
看我们网站内容静态地址是多么http://www.jiixang搜刮引擎优化.com/?cat=1
http://www.jiixang搜刮引擎优化.com/goods.php?id=284
樊篱全数的js 和css
Disallow: /*.css$
Disallow: /*jpg.$
然后上传到根目次里面 。Robots不要尽情改削 ，奏效时分会很不竭定 。 短则7天长则几个月
翻开百度站长平台
wwwroot/搜刮引擎优化me/inges/jixiang.js
Disallow ：/inges/ 这个 此后的文件都禁尽予
Disallow: /inges 这个/inges 最早的都禁尽予
