zoukankan      html  css  js  c++  java
  • 百度sitemap常见问题

    一、什么是Sitemap?

    Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次更新日期、Sitemap文件的更新频率等,供百度Spider参考。

    百度对已提交的数据,不保证一定会抓取及索引所有网址。但是,我们会使用Sitemap中的数据来了解网站的结构等信息,这样可以帮助我们改进抓取策略,并在日后能更好地对网站进行抓取。

    此外,Sitemap 与搜索排名没有关系。 

     二、百度Sitemap协议都支持哪些格式?

    百度Sitemap协议支持三种格式:文本格式、xml格式、Sitemap索引格式,可以根据自己情况来选择任意一种格式组织sitemap。具体格式说明及示例如下: 

    1.第一种格式样例:txt文本格式

    在一个txt文本列明需要向百度提交的链接地址,将txt文本文件通过站长平台进行提交    

    http://www.example.com/repaste/101562698_5230191316.html
    http://www.example.com/repaste/101586283_5230215075.html
    http://www.example.com/repaste/101639435_5230310576.html  

    此文本文件需要遵循以下指南:

    • 文本文件每行都必须有一个网址。网址中不能有换行。不应包含网址列表以外的任何信息。                       

    • 您必须书写完整的网址,包括 http。

    • 每个文本文件最多可包含 50,000 个网址,并且应小于10MB(10,485,760字节)。如果网站所包含的网址超过 50,000 个,则可将列表分割成多个文本文件,然后分别添加每个文件。

    • 文本文件需使用 UTF-8 编码或GBK编码。                                                              

    2.第二种格式样例:xml格式

    单个xml数据格式如下:

    <?xml version="1.0" encoding="utf-8"?>
    <!-- XML文件需以utf-8编码-->
    <urlset>
    <!--必填标签-->
        <url>
            <!--必填标签,这是具体某一个链接的定义入口,每一条数据都要用<url>和</url>包含在里面,这是必须的 -->
            <loc>http://www.yoursite.com/yoursite.html</loc>
            <!--必填,URL链接地址,长度不得超过256字节-->
            <lastmod>2009-12-14</lastmod>
            <!--可以不提交该标签,用来指定该链接的最后更新时间-->
            <changefreq>daily</changefreq>
            <!--可以不提交该标签,用这个标签告诉此链接可能会出现的更新频率 -->
            <priority>0.8</priority>
            <!--可以不提交该标签,用来指定此链接相对于其他链接的优先权比值,此值定于0.0-1.0之间-->
        </url>
        <url>
            <loc>http://www.yoursite.com/yoursite2.html</loc>
            <lastmod>2010-05-01</lastmod>
            <changefreq>daily</changefreq>
            <priority>0.8</priority>
        </url>
    </urlset>

    上述Sitemap向百度提交了一个url:http://www.yoursite.com/yoursite.html 

    若有多条url,按照上述格式重复<url></url>之间的片断,列明所有url地址,打包到一个xml文件,向站长平台进行提交。

    3.第三种格式样例:Sitemap索引格式

    如需提交大量sitemap文件,则可将其列在sitemap索引文件中,然后将该索引文件提交。您无需分别提交每个文件。

    <?xml version="1.0" encoding="utf-8"?>
    <!-- XML文件需以utf-8编码-->
    <sitemapindex>
    <!--必填,以 <sitemapindex> 开始标记作为开始,以 </sitemapindex> 结束标记作为结束-->
        <sitemap>
            <!--必填,以<sitemap>标签提交一个子sitemap文件-->
            <loc><loc>http://example.com/ext/xmlsitemap/add/201201/index_20120106.xml</loc>
            <!--必填,识别sitemap的位置-->
            <lastmod>2009-12-14</lastmod>
            <!--选填,识别相对sitemap文件的修改时间-->

        </sitemap>

    必填,标签闭合</sitemapindex>

    必填,标签闭合有多个Sitemap,按上述格式重复<sitemap></sitemap>之间的片断,列明所有Sitemap地址,向站长平台进行提交。

    三、什么是移动Sitemap协议,如何提交Sitemap到移动搜索?

    百度推出了移动Sitemap协议,用于将网址提交给移动搜索收录。百度移动Sitemap协议是在标准Sitemap协议基础上制定的,增加了<mobile:mobile/>标签,它有三种取值:

    • <mobile:mobile/> :移动网页

    • <mobile:mobile type="mobile"/> :移动网页      

    • <mobile:mobile type="autoadapt"/>:自适配网页,适用于同一网址页面,会随设备不同改变展现的情况。        

    无该标签表示PC的网页

    下 方样例相当于向百度移动搜索提交了一个移动网页:http://m.example.com/index.html,向PC搜索提交了一个传统网 页:http://www.example.com/index.html,同时向移动搜索和PC搜索提交了一个自适配网页http: //www.example.com/autoadapt.html:

    <?xml version="1.0" encoding="UTF-8" ?> 
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
    xmlns:mobile="http://www.baidu.com/schemas/sitemap-mobile/1/"> 
    <url> 
    <loc>http://m.example.com/index.html</loc> 
    <mobile:mobile type="mobile"/>
    <lastmod>2009-12-14</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
    </url> 
    <url> 
    <loc>http://www.example.com/index.html</loc>
    <lastmod>2009-12-14</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
    </url> 
    <url> 
    <loc>http://www.example.com/autoadapt.html</loc> 
    <mobile:mobile type="autoadapt"/>
    <lastmod>2009-12-14</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
    </url> 
    </urlset>

    提交Sitemap到移动搜索的方法,参考第四条,按照移动Sitemap协议做好Sitemap后,在Sitemap工具点击添加新数据提交,与提交普通Sitemap方式一致。

    四、创建sitemap时有哪些注意事项?如何提交sitemap?

    注意事项

    • 一个Sitemap文件包含的网址不得超过 5 万个,且文件大小不得超过 10 MB。如果您的Sitemap超过了这些限值,请将其拆分为几个小的Sitemap。这些限制条件有助于确保您的网络服务器不会因提供大文件而超载。

    • 一次性最多提交50个地址,提交地址的文件类型和更新周期必须一致。

    • 如果验证了网站的主域,那么Sitemap文件中可包含该网站主域下的所有网址。

    • 如果验证的www.example.com,你只能提交该验证网站的网址,不能出现其他网站的网址。

    提交步骤

    1. 将需提交的网页列表制作成一个Sitemap文件,文件格式请阅读百度Sitemap协议都支持哪些格式。

    2. 将Sitemap文件放置在网站目录下。比如您的网站为example.com,您已制作了一个sitemap_example.xml的Sitemap文件,将sitemap_example.xml上传至网站根目录即example.com/sitemap_example.xml

    3. 登录百度站长平台,确保提交Sitemap数据的网站已验证归属。

    4. 进入Sitemap工具,点击“添加新数据”,文件类型选择“URL列表”,填写抓取周期和Sitemap文件地址

    提交完之后,可在Sitemap列表里看到提交的Sitemap文件,如果Sitemap文件里面有新的网站链接,可以选择文件后,点击更新所选,即对更新的网站链接进行了提交。

    五、我提交时填写的周期是什么含义?

    百度Spider会参考设置周期抓取Sitemap文件,因此请根据Sitemap文件内容的更新(比如增加新url)来设置。请注意若url不变而仅是url对应的页面内容更新(比如论坛帖子页有新回复内容),不在此更新范围内。Sitemap工具不能解决页面更新问题。

    六、Sitemap提交后,多久能被百度处理?

    Sitemap数据提交后,一般在1小时内百度会开始处理。处理完成的时间视文件大小和您设置的抓取周期而定。

    七、提交的Sitemap都会被百度抓取并收录吗?

    百度对已提交的数据,不保证一定会抓取及收录所有网址。是否收录与页面质量相关。

    八、我可以压缩我的 Sitemap 吗?它们是否需要用 gzip 压缩?

    可以。请使用 gzip 压缩 Sitemap。无论压缩与否,Sitemap 应该小于 10MB(10,485,759字节)。

    九、XML格式的 Sitemap 中,“priority”提示会影响我的网页在搜索结果中的排名吗?

    不会。Sitemap 中的“priority”提示只是说明该网址相对于您自己网站上其他网址的重要性,并不会影响网页在搜索结果中的排名。

    十、网址在 Sitemap 中的位置是否会影响它的使用?

    不会。网址在 Sitemap 中的位置并不会影响百度对它的识别或使用方式。

    十一、Sitemap中提交的url能否包含中文?

    因为转码问题建议最好不要包含中文。

  • 相关阅读:
    操作系统与进程.md
    解决粘包现象
    Python3网络爬虫开发实战
    Django学习目录
    前端学习目录
    MySQL数据库学习目录
    第一章 开发环境配置
    15.3 Scrapyd 对接 Docker
    13.4 Spider 的用法
    9.1 代理的设置
  • 原文地址:https://www.cnblogs.com/yueke/p/3907360.html
Copyright © 2011-2022 走看看