zoukankan      html  css  js  c++  java
  • 禁止搜索引擎收录抓取方法

    如果你的网站涉及个人隐私或者机密性非公开的网页,怎样告诉禁止搜索引擎收录抓取,下面侯庆龙说下以下方法,希望对不想被搜索引擎收录抓取网站有所帮助。

      第一种、robots.txt方法

      搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:

      User-agent: *

      Disallow:

      通过代码,即可告诉搜索引擎不要抓取采取收录本网站。

      第二种、网页代码

      在网站首页代码<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。

      如何禁止百度搜索引擎收录抓取网页

      1、编辑robots.txt文件,设计标记为:

      User-agent: Baiduspider

      Disallow: /

      2、在网站首页代码<head>与</head>之间,加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。

      3、联系百度管理人员,信箱地址为:webmaster@baidu.com,用网站联系人信箱发电邮,如实说明删除网页快照的情况,经百度核实后,网页停止收录抓取。

      4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧,发个帖子,表明删除网页收录网站快照的原因,当百度管理人员,看到会给予处理。

      如何禁止Google搜索引擎收录抓取网页

      1、编辑robots.txt文件,设计标记为:

      User-agent: googlebot

      Disallow: /

      2、在网站首页代码<head>与</head>之间,加入<meta name="googlebot" content="noarchive">即可禁止谷歌搜索引擎抓取网站并显示网页快照

  • 相关阅读:
    分位数(quantiles)、Z-score 与 F-score
    学术研究中的 NLP
    学术研究中的 NLP
    国内外免费电子书(数学、算法、图像、深度学习、机器学习)
    国内外免费电子书(数学、算法、图像、深度学习、机器学习)
    中英文对照 —— 缩略词
    内核编译及模块相关命令使用
    UVA 156 (13.08.04)
    hdu3117之矩阵快速幂
    系统运维技巧(三)——利用dd命令临时增加交换分区
  • 原文地址:https://www.cnblogs.com/xuxiaoshuan/p/3247665.html
Copyright © 2011-2022 走看看