zoukankan      html  css  js  c++  java
  • 数据库的两个好帮手:pagehack和pg_xlogdump

    摘要:pagehack和pg_xlogdump可以帮助我们在数据库故障定位中,解析各种文件的页面头和xlog日志。

    随着技术的演进,数据也发生了巨大的变化,数据规模越来愈大、数据种类呈现多样性,数据处理的时效性要求也越来越高,GaussDB(DWS)实时数仓当前面临着巨大的机遇,也面临着巨大的挑战。同样的,强大工具来帮助我们定位各种各样的问题。

    数据库目录下有多种二进制文件,比如系统表、普通表、索引和日志文件等等,但是数据库运行过程中的问题,我们该如何利用这些文件去定位和分析问题呢? pagehack和pg_xlogdump就是我们解决问题的利器,帮助我们在故障定位中,解析各种文件的页面头和xlog日志。

    pagehack:

    我们先来看看pagehack的各项参数说明

    这里我们列举出一下几种非常常用的解析方法:

    (1)数据库中的系统表有很多,但是在数据库data目录下,该如何把系统表和磁盘上的文件一一对应呢,我们可以通过pagehack查询data目录下的pg_filenode.map

    执行pagehack -f pg_filenode.map -t filenode_map,我们就可以看到如下结果,这里的relfilenode就对应磁盘上的文件

    (2)除了系统表,另外一个常用的数据类型就是行存表的文件,通常对于存储异常、读取异常等问题,我们都需要通过pagehack查询行存表的头文件信息。首先连接DN上,查询到该行存表对应的relfilenode(16502),到对应DN的data目录下,执行:pagehack -f 16502 -t heap,结果如下:

    根据解析出的结果,page页面头结构如下

    解析出的页面中一些常用信息含义如下,关于page页面详细信息,后面会出一篇博文来专门介绍page页面结构信息

    pd_lsn:本页面最后一次变更所写入的xlog记录对应的lsn。

    pd_special:用在索引页中,在索引页中它指向特殊空间的起始位置,在堆表页面中它指向页尾。

    pd_pagesize_version:页面大小以及页面布局的版本号。

    t_xmin: 保存插入该元组的事务的txid(事务号)

    t_xmax:保存删除或更新此元组的事务的txid。如果尚未删除或更新此元组,则t_xmax设置为0,即无效。

    t_infomask:用于标识元组当前的状态。

    t_infomask2:HOT链更新状态和当tuple的属性个数。

    pg_xlogdump:

    GaussDB数据库利用日志文件来防止断电之类的故障导致的数据丢失,任何试图修改数据库的操作都会写一份日志记录到磁盘,这个日志称为XLOG。在数据库定位问题时,就可以使用pg_xlogdump来解析XLOG日志,包括日志类型、对应的事务号、修改的文件等等。

    Pg_xlogdump参数使用说明如下:

    在pg_xlog目录下找到对应的日志文件, XLOG文件名称24个字符,由三部分组成,每一部分的解析如下):

    1. 第1部分是TimeLineID,

    2. 第2部分是逻辑文件ID,

    3. 第3部分是物理文件ID

    pg_xlogdump ./000000010000000000000004 -n

    LSN:日志编号

    prev:对应该条记录的上一条xlog记录。

    xid:事务的xid

    desc:对日志的详细描述

    通过pg_xlogdump可以查看xlog日志记录的操作的xid和lsn,就可以在数据库崩溃后,使用xid进行恢复等操作以及定位错误等。

    pagehack和pg_xlogdump工具在定位分析问题是常用的两种工具,希望这两种工具的介绍,能帮助大家再分析解决问题的时候,提高效率。本文章中设计的页面结构详细信息,后期会专门写一篇文章介绍,加深大家的理解。

    本文分享自华为云社区《GaussDB(DWS)存储系列之pagehack&pg_xlogdump工具使用方法总结》,原文作者:AndyCao 。

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    第十四周 Leetcode 315. Count of Smaller Numbers After Self(HARD) 主席树
    POJ1050 To the Max 最大子矩阵
    POJ1259 The Picnic 最大空凸包问题 DP
    POJ 3734 Blocks 矩阵递推
    POJ2686 Traveling by Stagecoach 状态压缩DP
    iOS上架ipa上传问题那些事
    深入浅出iOS事件机制
    iOS如何跳到系统设置里的各种设置界面
    坑爹的私有API
    业务层网络请求封装
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/14419259.html
Copyright © 2011-2022 走看看