https://www.ezloo.com/2013/07/meta_robots.html
大家在查看网站源代码的时候一定看到过类似如下的meta标签：
<meta name="robots" value="index, follow">
meta标签慢慢被越来越多的搜索引擎所应用，了解meta标签，大家可以对自己的博客或网站可以进行简单的SEO配置。
index
告诉搜索引擎索引本页面，这是默认属性，如果不设置meta标签，搜索引擎默认会索引本页面。
noindex
告诉搜索引擎不要把本页展示在他们的搜索结果中。
noimageindex
禁止搜索引擎索引本页面上的图片，本页面上的图片不会显示在搜索结果中。
none
none是noindex,nofollow的缩写，告诉搜索引擎不要索引本页面，告诉爬虫不要索引本页面上的链接页面。
follow
告诉搜索引擎爬虫可以爬行本页面上的链接，不管该页面是不是允许索引。
nofollow
告诉搜索引擎不要爬行本页面上的链接。
noarchive
阻止搜索引擎在搜索结果中显示该页面的缓存版本，就是快照。
nocache
功能和noarchive一样，但是适用于MSN/Live搜索引擎。
nosnippet
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容，nosnippet属性就是拒绝搜索引擎显示这部分内容，另外，所说引擎也不会保存该页面的快照。
noodp
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容，noodp属性用来阻止使用DMOZ信息做为这部分的文字使用。
noydir
搜索引擎的搜索结果中会显示一部分搜索文字上下文的内容，noydir阻止雅虎使用Yahoo! directory信息作为这部分的文字使用。