robots协议是网站与搜索引擎之间的协议，robots.txt写的好不好直接性的影响网站的排名。所以站长朋友还是要把这个有利的武器运用上，对你的网站排名是极其友好的，当然如果是大型的站点，还可以屏蔽一些不必要的蜘蛛的抓取。
robots其实是告诉蜘蛛哪些可以抓取，哪里不能抓取，那么这样有什么作用呢？

1，减少无效页面的收录，集中权重
因为我们都知道蜘蛛每天来我们网站的爬取次数与频率是有限的（针对于企业网站来说的），那么我们如何在蜘蛛来你的网站的时候让它抓取你的主要内容，这个时候robots就起到了作用，它可以不让搜索引擎抓取你的部分内容，比如关于我们，联系我们、js、css等内容，这样大大的提高了收录质量，集中权重做好其它页面的排名。
2，网站会员的安全性
有些网站有一点会员的功能比如：我们的公司一个商城站，那么必然会有一些会员的账号，密码，信息等，这个时候如果蜘蛛收录的你的会员信息，那么你网站的会员资料就会蜘蛛抓取了，那么就泄露了你的会员信息。我们公司的写法是Disallow： /user/那么一个robots就可以解决，当然还有比如说你的后台信息也是不用抓取的通常的写法是Disallow： /admin/当然每个人的后台目录设置都不一样.视情况而定。

东莞鸿远网络科技，专注中小企业网站建设与运营推广！为企业整合营销，拓展市场，帮助企业组建良好的网络营销环境，树立良好的网上企业形象提供专业服务！鸿远网络科技为企业、事业单位提供优质的平面设计、包装设计、多媒体课件、FLASH动画制作、网络营销、网络广告、商业网站策划和网页设计、制作以及网站推广等企业上网电子商务一站式服务！