网站后台禁止搜索引擎抓取

页面的各大meta标签noindex、nofollow、noarchive及nosnippet用法索引擎更好地理解你的网站内容的种类 . 比如Yahoo!的noodp Meta标签 ,作用就是防止搜索引擎调用ODP上面的描述性语句 .
    Google所支持的Meta标签也不少 ,比如Google官方讲解的就有noindex、nofollow、noarchive及nosnippet . 如果你对Google的长篇大论感到厌倦 ,下面的介绍你将容易理解的多：
noindex：告诉Google不要索引含此标签的网页 . 但根据实际经验 ,Google并非100%遵守 . nofollow：告诉Google不要关注含此标签的网页里的特定链接 . 这是为了解决链接SPAM而设计的Meta标签 . noarchive：告诉Google不要保存含此标签的网页的快照 . nosnippet：告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句 ,并且不要在列表里显示快照链接
    相关用法:NOINDEX指令：表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了
Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、 follow、nofollow . 默认是all .   
    用法：<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">  all：文件将被检索 ,且页面上的链接可以被查询；
none：文件将不被检索 ,且页面上的链接不可以被查询；(和 "noindex, no follow" 起相同作用)   index：文件将被检索；（让robot/spider登录）   ollow：页面上的链接可以被查询；NOINDEX指令：表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了.
    Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、        follow、nofollow . 默认是all .    用法：<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">   all：文件将被检索 ,且页面上的链接可以被查询； none：文件将不被检索 ,且页面上的链接不可以被查询；(和 "noindex, no follow" 起相同作用)  index：文件将被检索；（让robot/spider登录）  follow：页面上的链接可以被查询；   noindex：文件将不被检索 ,但页面上的链接可以被查询；(不让robot/spider登录)   
nofollow：文件将不被检索 ,页面上的链接可以被查询 . (不让robot/spider顺着此页的连接往下探找