zoukankan      html  css  js  c++  java
  • 黄聪:robots.txt一分钟教程

    首先要说:

    robots.txt很简单


    学习robots主要搞明白下面3个问题:
    1. robots是什么?
    2. robots有什么作用?
    3. 如何写robots.txt?

    robots是什么?

    kyw的回答: robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件,文件名必须是小写的"robots.txt"。

    robots有什么作用?

    kyw的回答:通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。

    如何写robots.txt

    用几个最常见的情况,直接举例说明:
    1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。

    2. 禁止所有SE收录网站的某些目录:

    User-agent: *
    Disallow: /目录名1/
    Disallow: /目录名2/
    Disallow: /目录名3/


    3. 禁止某个SE收录本站,例如禁止百度:

    User-agent: Baiduspider
    Disallow: /


    4. 禁止所有SE收录本站:

    User-agent: *
    Disallow: /


    5. 加入sitemap.xml路径,例如:

    Sitemap: http://www.seotest.cn/sitemap.xml


    参考资料:常见搜索引擎机器人Robots名字
    名称 搜索引擎
    Baiduspider http://www.baidu.com 
    Googlebot http://www.google.com 
    MSNBOT http://search.msn.com 
    ia_archiver http://www.alexa.com 


    一个在线写robots.txt的工具。
    http://www.clickability.co.uk/robotstxt.html

  • 相关阅读:
    linux sleep用法
    linux下set命令的参数及用法
    给vim编辑器自动添加行号
    linux一些基本常识(三)
    shell脚本面试题
    linux下字符串的比较方式
    浅谈Windows API编程
    WIN32 API ------ 最简单的Windows窗口封装类
    Microsoft函数调用约定
    Android UI 设计规范
  • 原文地址:https://www.cnblogs.com/huangcong/p/1698990.html
Copyright © 2011-2022 走看看