1、图解Oracle Logminer配置使用

LogMiner配置使用手册

1 Logminer简介

1.1 LogMiner介绍

Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 在线/归档日志文件中的具体内容，特别是该工具可以分析出所有对于数据库操作的DML和DDL语句。该工具特别适用于调试、审计或者回退某个特定的事务。

LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图（Oracle8i内置包的一部分）组成，它作为Oracle数据库的一部分来发布是8i产品提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂，主要原因是该工具没有提供任何的图形用户界面（GUI）。

1.2 LogMiner作用

在Oracle 8i之前，Oracle没有提供任何协助数据库管理员来读取和解释重作日志文件内容的工具。系统出现问题，对于一个普通的数据管理员来讲，唯一可以作的工作就是将所有的log文件打包，然后发给Oracle公司的技术支持，然后静静地等待Oracle 公司技术支持给我们最后的答案。然而从8i以后，Oracle提供了这样一个强有力的工具--LogMiner。

LogMiner 工具即可以用来分析在线，也可以用来分析离线日志文件，即可以分析本身自己数据库的重作日志文件，也可以用来分析其他数据库的重作日志文件。

总的说来，LogMiner工具的主要用途有：

1、跟踪数据库的变化：可以离线的跟踪数据库的变化，而不会影响在线系统的性能。

2、回退数据库的变化：回退特定的变化数据，减少point-in-time recovery的执行。

3、优化和扩容计划：可通过分析日志文件中的数据以分析数据增长模式

1.3 使用详解

1.3.1 安装LogMiner

在使用LogMiner之前需要确认Oracle是否带有进行LogMiner分析包，一般来说Windows操作系统Oracle10g以上都默认包含。如果不能确认，可以DBA身份登录系统，查看系统中是否存在运行LogMiner所需要的dbms_logmnr、dbms_logmnr_d包，如果没有需要安装LogMiner工具，必须首先要运行下面这样两个脚本：

1、$ORACLE_HOME/rdbms/admin/dbmslm.sql

2、$ORACLE_HOME/rdbms/admin/dbmslmd.sql.

这两个脚本必须均以DBA用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包，该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包，该包用来创建数据字典文件。

创建完毕后将包括如下过程和视图：

类型	过程名	用途
过程	Dbms_logmnr_d.build	创建一个数据字典文件
过程	Dbms_logmnr.add_logfile	在类表中增加日志文件以供分析
过程	Dbms_logmnr.start_logmnr	使用一个可选的字典文件和前面确定要分析日志文件来启动LogMiner
过程	Dbms_logmnr.end_logmnr	停止LogMiner分析
视图	V$logmnr_dictionary	显示用来决定对象ID名称的字典文件的信息
视图	V$logmnr_logs	在LogMiner启动时显示分析的日志列表
视图	V$logmnr_contents	LogMiner启动后，可以使用该视图在SQL提示符下输入SQL语句来查询重做日志的内容

1.3.2  创建数据字典文件

LogMiner工具实际上是由两个新的PL/SQL内建包（(DBMS_LOGMNR 和 DBMS_ LOGMNR_D）和四个V$动态性能视图（视图是在利用过程DBMS_LOGMNR.START_LOGMNR启动LogMiner时创建）组成。在使用LogMiner工具分析redo log文件之前，可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的，但是如果没有它，LogMiner解释出来的语句中关于数据字典中的部分（如表名、列名等）和数值都将是16进制的形式，我们是无法直接理解的。例如，下面的sql语句：

INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三'); 

LogMiner解释出来的结果将是下面这个样子：

insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65')); 

创建数据字典的目的就是让LogMiner引用涉及到内部数据字典中的部分时为他们实际的名字，而不是系统内部的16进制。数据字典文件是一个文本文件，使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化，影响到库的数据字典也发生变化，这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时，也必须要重新生成一遍被分析数据库的数据字典文件。

创建数据字典文件之前需要配置LogMiner文件夹：

CREATE DIRECTORY utlfile AS 'D:oracleoradatapracticeLOGMNR';
alter system set utl_file_dir='D:oracleoradatapracticeLOGMNR' scope=spfile;

创建字典文件需要以DBA用户登录，创建到上面配置好的LogMiner文件夹中：

CONN LOGMINER/ LOGMINER@PRACTICE AS SYSDBA
EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:oracleoradatapracticeLOGMNR');

1.3.3 加入需分析的日志文件

Oracle的LogMiner可以分析在线（online）和归档（offline）两种日志文件，加入分析日志文件使用dbms_logmnr.add_logfile过程，第一个文件使用dbms_logmnr.NEW参数，后面文件使用dbms_logmnr.ADDFILE参数。

1、创建列表

BEGIN
dbms_logmnr.add_logfile(logfilename=>'D:oracleoradatapracticeREDO03.LOG',options=>dbms_logmnr.NEW);
END;
/

2、添加其他日志文件到列表

BEGIN
dbms_logmnr.add_logfile(logfilename=>'D:oracleoradatapracticeARCHIVEARC00002_0817639922.001',options=>dbms_logmnr.ADDFILE);
dbms_logmnr.add_logfile(logfilename=>'D:oracleoradatapracticeARCHIVEARC00003_0817639922.001',options=>dbms_logmnr.ADDFILE);
END;
/

1.3.4 使用LogMiner进行日志分析

Oracle的LogMiner分析时分为无限制条件和限制条件两种，无限制条件中分析所有加入到分析列表日志文件，限制条件根据限制条件分析指定范围日志文件。

1、无限制条件

EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:oracleoradatapracticeLOGMNRdictionary.ora');

2、有限制条件

通过对过程DBMS_ LOGMNR.START_LOGMNR中几个不同参数的设置（参数含义见表1），可以缩小要分析日志文件的范围。通过设置起始时间和终止时间参数我们可以限制只分析某一时间范围的日志。

参数	参数类型	默认值	含义
StartScn	数字型	0	分析重作日志中SCN≥StartScn日志文件部分
EndScn	数字型	0	分析重作日志中SCN≤EndScn日志文件部分
StartTime	日期型	1998-01-01	分析重作日志中时间戳≥StartTime的日志文件部分
EndTime	日期型	2988-01-01	分析重作日志中时间戳≤EndTime的日志文件部分
DictFileName	字符型		字典文件该文件包含一个数据库目录的快照。

如下面的例子，我们仅仅分析2013年6月8日的日志，：

EXECUTE dbms_logmnr.start_logmnr(

DictFileName => dictfilename=>'D:..practiceLOGMNRdictionary.ora', 

StartTime =>to_date('2013-6-8 00:00:00','YYYY-MM-DD HH24:MI:SS')

EndTime =>to_date(''2013-6-8 23:59:59','YYYY-MM-DD HH24:MI:SS ')); 

也可以通过设置起始SCN和截至SCN来限制要分析日志的范围：

EXECUTE dbms_logmnr.start_logmnr(

DictFileName =>'D:..practiceLOGMNRdictionary.ora',

StartScn =>20,

EndScn =>50); 

1.3.5 观察分析结果（v$logmnr_contents）

到现在为止，我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。

SELECT sql_redo FROM v$logmnr_contents; 

如果我们仅仅想知道某个用户对于某张表的操作，可以通过下面的SQL查询得到，该查询可以得到用户LOGMINER对表EMP所作的一切工作。

SELECT sql_redo FROM v$logmnr_contents WHERE username='LOGMINER' AND tablename='EMP'; 

序号	名称	含义
1	SCN	特定数据变化的系统更改号
2	TIMESTAM	数据改变发生的时间
3	COMMIT_TIMESTAMP	数据改变提交的时间
4	SEG_OWNER	数据发生改变的段名称
5	SEG_NAME	段的所有者名称
6	SEG_TYPE	数据发生改变的段类型
7	SEG_TYPE_NAME	数据发生改变的段类型名称
8	TABLE_SPACE	变化段的表空间
9	ROW_ID	特定数据变化行的ID
10	SESSION_INFO	数据发生变化时用户进程信息
11	OPERATION	重做记录中记录的操作(如INSERT)
12	SQL_REDO	可以为重做记录重做指定行变化的SQL语句(正向操作)
13	SQL_UNDO	可以为重做记录回退或恢复指定行变化的SQL语句(反向操作)

需要强调一点的是，视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的LogMiner存储都在PGA内存中，所有其他的进程是看不到它的，同时随着进程的结束，分析结果也随之消失。

最后，使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务，此时PGA内存区域被清除，分析结果也随之不再存在。

2 数据同步Oracle数据库设置

Oracle数据使用LogMiner查看执行SQL语句，其中需要进行如下四步骤是指：

1、设置数据库为归档模式；

2、设置LogMiner字典文件路径等；

3、创建数据同步用户(如用户名为LOGMINER，该用户拥有DBA权限)；

4、验证配置是否成功；

2.1 设置数据库为归档模式

2.1.1 查看数据库是否为归档模式

使用SqlPlus或者命令行界面连接数据库（以下以命令行界面操作）

--进入SqlPlus程序

sqlplus /nolog

--使用DBA用户登录到源数据库中

conn system/system@practic as sysdba

--查看PRACTICE数据库是否处于归档模式

SELECT dbid, name, log_mode FROM v$database;
或者
ARCHIVE LOG LIST;

如果显示数据库显示为归档模式，则设置数据库为归档模式可跳过；如果显示数据库为非归档模式则需要进行以下设置。

上图显示数据库未进行归档，需要进行归档设置。

2.1.2 设置归档模式

创建ARCHIVE文件夹，ARCHIVE文件夹路径根据所在服务器进行设置，在下面操作中设置为" D:oracleoradatapracticeARCHIVE"

--设置归档日志文件路径

ALTER SYSTEM SET log_archive_dest="D:oracleoradatapracticeARCHIVE";

--日志文件名称格式：

ALTER SYSTEM SET log_archive_format="ARC%S_%R.%T" SCOPE=SPFILE;

--修改完毕后，关闭数据库，以MOUNT方式启动

SHUTDOWN IMMEDIATE;
STARTUP MOUNT;

--设置数据库为归档模式

ALTER DATABASE ARCHIVELOG;

（注意：如果重启数据失败，请参考第4章节异常问题处理）

2.1.3 验证归档是否设置成功

--查看PRACTICE数据库是否处于归档模式

SELECT dbid, name, log_mode FROM v$database;
或者
ARCHIVE LOG LIST;

--验证参数设置是否起作用

SELECT dest_id, status, destination FROM v$archive_dest WHERE dest_id =1;

--在参数文件设置已经起作用，打开数据库

ALTER DATABASE OPEN;

2.2 LogMiner设置

2.2.1 创建LogMiner文件夹

创建LOGMNR文件夹，路径为"D:oracleoradatapracticeLOGMNR"

2.2.2 设置LogMiner字典文件路径

--创建数据字典文件

CREATE DIRECTORY utlfile AS 'D:oracleoradatapracticeLOGMNR';
alter system set utl_file_dir='D:oracleoradatapracticeLOGMNR' scope=spfile;

2.2.3 开启LogMiner日志补充模式

--创建数据字典文件

alter database add supplemental log data;

2.2.4 重启数据库验证

--修改完毕后，关闭数据库，以MOUNT方式启动

SHUTDOWN IMMEDIATE;
STARTUP;

--查看Logminer文件夹是否设置

SHOW PARAMETER utl_file_dir;

2.3 创建数据同步用户

在数据库创建LOGMINER用户，该用户需要具有DBA权限

--在源数据库创建LOGMINER用户，并赋予DBA权限

CREATE USER LOGMINER IDENTIFIED BY LOGMINER;
GRANT CONNECT, RESOURCE,DBA TO LOGMINER;

3 使用LogMiner读取日志例子

在使用LogMiner读取归档/在线日志需要按照第2章节进行设置，设置完毕后可以对归档和在线日志进行分析。特别是需要开启LogMiner日志补充模式，如果没有开始LogMiner补充模式将无法查看DDL语句，按照测试结果看，只有开始LogMiner日志补充模式后，才能查看DDL语句，在此之前进行DDL将无法进行查看。

3.1 使用LogMiner读取在线日志

3.1.1 测试数据准备

--以LOGMINER用户登录（非DBA登录）创建AAAAA表(Oracle11g请注意用户名、密码大小写)

CONNECT LOGMINER/LOGMINER@PRACTICE
CREATE TABLE AAAAA(field001 varchar2(100));     
INSERT INTO AAAAA (field001) values  ('000000');  
INSERT INTO AAAAA (field001) values  ('0000010');
commit;

3.1.2  创建数据字典文件

数据库对象发生变化，需要重新创建数据字典文件

--以LOGMINER用户（DBA权限）登录，生成字典文件

CONN LOGMINER/LOGMINER@PRACTICE AS SYSDBA
EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:oracleoradatapracticeLOGMNR');

3.1.3 确认当前处于联机状态的日志文件

--需要确认当前处于联机状态的日志文件

SELECT group#, sequence#, status, first_change#, first_time FROM V$log ORDER BY first_change#;

 

从上图可以看出在线日志REDO03处于ACTIVE状态中

3.1.4 加入需分析的日志文件

--加入解析在线日志文件

BEGIN
dbms_logmnr.add_logfile(logfilename=>'D:oracleoradatapracticeREDO03.LOG',options=>dbms_logmnr.NEW);
END;
/

 

3.1.5 使用LogMiner进行分析

--启动LogMiner进行分析

EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:oracleoradatapracticeLOGMNRdictionary.ora');

3.1.6 观察分析结果

--查询相关操作日志

SELECT sql_redo, sql_undo, seg_owner
   FROM v$logmnr_contents
  WHERE seg_name='AAAAA'
    AND seg_owner='LOGMINER';

3.2 使用LogMiner读取归档日志

3.2.1 测试数据准备

--以LOGMINER用户登录（非DBA权限）创建EMP表(Oracle11g请注意用户名、密码大小写)

CONN LOGMINER/ LOGMINER@PRACTICE
CREATE TABLE EMP
       (EMPNO NUMBER(4) CONSTRAINT PK_EMP PRIMARY KEY,
        ENAME VARCHAR2(10),
        JOB VARCHAR2(9),
        MGR NUMBER(4),
        HIREDATE DATE,
        SAL NUMBER(7,2),
        COMM NUMBER(7,2),
        DEPTNO NUMBER(2));

 --插入EMP数据

INSERT INTO EMP VALUES (7369,'SMITH','CLERK',7902,to_date('17-12-1980','dd-mm-yyyy'),800,NULL,20);
INSERT INTO EMP VALUES (7499,'ALLEN','SALESMAN',7698,to_date('20-2-1981','dd-mm-yyyy'),1600,300,30);
INSERT INTO EMP VALUES (7521,'WARD','SALESMAN',7698,to_date('22-2-1981','dd-mm-yyyy'),1250,500,30);
INSERT INTO EMP VALUES (7566,'JONES','MANAGER',7839,to_date('2-4-1981','dd-mm-yyyy'),2975,NULL,20);
COMMIT;

--从v$log视图中找出日志文件的序号

CONNECT system/system@practice as sysdba
ALTER SYSTEM SWITCH LOGFILE;
select sequence#, FIRST_CHANGE#, NEXT_CHANGE#,name from v$archived_log order by sequence# desc;

3.2.2 创建数据字典文件

确保按照2.2进行logMiner设置

--以LOGMINER用户（DBA权限）登录，生成字典文件

CONN LOGMINER/ LOGMINER@PRACTICE AS SYSDBA
EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'D:oracleoradatapracticeLOGMNR');

3.2.3  加入需分析的日志文件

--加入解析日志文件

BEGIN
dbms_logmnr.add_logfile(logfilename=>'D:oracleoradatapracticeARCHIVEARC00002_0817639922.001',options=>dbms_logmnr.NEW);
END;
/

3.2.4 使用LogMiner进行分析

--启动LogMiner进行分析

EXECUTE dbms_logmnr.start_logmnr(dictfilename=>'D:oracleoradatapracticeLOGMNRdictionary.ora');

 

3.2.5 观察分析结果

--查询相关操作日志

SELECT sql_redo, sql_undo
   FROM v$logmnr_contents
  WHERE seg_name='EMP'
    AND seg_owner='LOGMINER';

 

4 其他

4.1 异常问题处理

4.1.1 出现ORA-12514错误

如果出现ORA-12514错误时，如下图所示：

需要修改listerner.ora文件，具体在Oracle安装目录NETWORKADMIN下，当前操作为" D:oracleproduct10.2.0db_1NETWORKADMINlistener.ora "加入如下设置

     (SID_DESC =
       (GLOBAL_DBNAME = practice)
       (ORACLE_HOME = D:oracleproduct10.2.0db_1) 
       (SID_NAME = practice)
      )

设置后需要重新启动TNSListener，即可生效

4.1.2 出现ORA-16018错误

如果出现ORA-16018错误时，如下图所示：

该问题是数据库开启了闪回功能，归档文件默认情况下是保存到闪回路径中，简单的处理方式是在设置归档路径中加入scope=spfile参数

--设置归档日志文件路径

ALTER SYSTEM SET log_archive_dest="D:oracleoradatapracticeARCHIVE"   scope=spfile;

此时查看闪回路径，该路径并未影响，只不过闪回文件和归档文件保存到各自文件夹中

4.2 LogMiner相关资料

参见Oracle官方站点对LogMiner介绍，地址如下：

http://docs.oracle.com/cd/E11882_01/server.112/e22490/logminer.htm