zoukankan      html  css  js  c++  java
  • ibdata1文件非常大如何解决,ibdata单独存储

      在MySQL 5.6.6版本以前,MySQL默认会把所有的innodb的表都放在同一个文件中(ibdata1),当该文件过大的时候,MySQL容易出错,维护性能差。

    1 简介
      Innodb存储引擎可将所有数据存放于ibdata*的共享表空间,也可将每张表存放于独立的.ibd文件的独立表空间。
      共享表空间以及独立表空间都是针对数据的存储方式而言的。
      共享表空间:  某一个数据库的所有的表数据,索引文件全部放在一个文件中,默认这个共享表空间的文件路径在data目录下。 默认的文件名为:ibdata1  初始化为10M。
      独立表空间:  每一个表都将会生成以独立的文件方式来进行存储,每一个表都有一个.frm表描述文件,还有一个.ibd文件。 其中这个文件包括了单独一个表的数据内容以及索引内容,默认情况下它的存储位置也是在表的位置之中。
     
    2 二者优缺点
        2.1 共享表空间:

        优点:
      可以将表空间分成多个文件存放到各个磁盘上(表空间文件大小不受表大小的限制,如一个表可以分布在不同的文件上)。数据和文件放在一起方便管理。
        缺点:
      所有的数据和索引存放到一个文件中,虽然可以把一个大文件分成多个小文件,但是多个表及索引在表空间中混合存储,这样对于一个表做了大量删除操作后表空间中将会有大量的空隙,特别是对于统计分析,日值系统这类应用最不适合用共享表空间。
        2.2 独立表空间:
      在配置文件(my.cnf)中设置: innodb_file_per_table
        优点:
      1.每个表都有自已独立的表空间。
      2.每个表的数据和索引都会存在自已的表空间中。
      3.可以实现单表在不同的数据库中移动。
      4.空间可以回收(除drop table操作处,表空不能自已回收)
         a.Drop table操作自动回收表空间,如果对于统计分析或是日值表,删除大量数据后可以通过:alter table TableName engine=innodb;回缩不用的空间。
              b.对于使innodb-plugin的Innodb使用turncate table也会使空间收缩。
              c.对于使用独立表空间的表,不管怎么删除,表空间的碎片不会太严重的影响性能,而且还有机会处理。
        缺点:
      单表增加过大,如超过100个G。
      相比较之下,使用独占表空间的效率以及性能会更高一点。
    3 独立表空间参数innodb_file_per_table详解
        3.1参数列表:

    Command-Line Format --innodb_file_per_table
    System Variable Name innodb_file_per_table
    Variable Scope Global
    Dynamic Variable Yes
    Permitted Values (<= 5.6.5) Type boolean
    Default OFF
    Permitted Values (>= 5.6.6) Type boolean
    Default ON
       
    3.2 参数功能
      该参数在mysql5.6.6及其后续版本默认开启,开启该参数的时候,Innodb将每个新创建的表的数据及索引存储在一个独立的.ibd文件里,而不是系统的表空间。当这些innodb表被删除或清空的时候,存储空间会被回收。
      开启innodb_file_per_table,在ALTER TABLE操作重建表的情况下,会将innodb表从系统共享表空间移动到独立的.ibd文件。
      不开启innodb_file_per_table,innodb会将所有表及索引的数据存储在构成系统表空间的ibdata文件。这样会降低文件系统操作的性能开销,例如DROP TABLE 或 TRUNCATE TABLE。它最适合于将整合磁盘都用于存储mysql数据的情况,因为系统表空间不会收缩,所有的数据库都在一个空间实例里面。当innodb_file_per_table=OFF的时候,应避免在空间受限的系统表空间里导入大量临时数据。
      innodb_file_per_table 可通过SET GLOBAL动态的修改为ON或OFF,也可以在my.cnf中做永久性修改,在my.cnf中修改后生效的话需要重启mysqld服务。
    set global innodb_file_per_table =ON; 
    

      注:动态修改后仅对后续操作生效,如原来为共享表空间,动态修改为独立表空间后仅新建的表为独立表空间。

    ibdata1文件是什么?

      ibdata1是一个用来构建innodb系统表空间的文件,这个文件包含了innodb表的元数据、撤销记录、修改buffer和双写buffer。如果file-per-table选项打开的话,该文件则不一定包含所有表的数据。当innodb_file_per_table选项打开的话,新创建表的数据和索引则不会存在系统表空间中,而是存放在各自表的.ibd文件中.显然这个文件会越来越大,innodb_autoextend_increment选项则指定了该文件每次自动增长的步进,默认是8M.

    是什么原因导致ibdata1文件会越来越大?

      ibdata1存放数据,索引和缓存等,是MYSQL的最主要的数据。所以随着数据库越来越大,表也会越大,这个无法避免的。如果时间长了,越来越大,我们在处理日志和空间的时候就不是那么方便了,就不知从何入手了。接下来我们就要处理下这样的情况,分库存储数据。

    该如何处理呢?

      首先我们把数据库文件备份下来,然后直接删除ibdata文件(为了保险起见最好先全备一次,做到数据安全和完整),然后再重新导入数据库文件即可!

    具体操作步骤如下(截图并不完整,但是首先要弄懂大概情况和原理):

    1、停止业务,备份一次全库

    mysqldump -uroot -ppassword --all-databases --add-dorp-table > /root/all_mysql.sql

    2、备份完成,停止数据库

    systemctl stop mariadb 或者 service mysqld stop

    3、修改配置文件

    在[mysqld]下增加下面配置 innodb_file_per_table=1 验证配置是否生效,可以重启mysql后,执行 #service mysqld restart

    4、验证

     -uroot -ppassword mysql

    show variables like '%per_table%';

    5、删除ibdata1文件和日志

    rm -rf ibdata1

    rm -rf ib_logfile*

    6、还原数据库

    mysql -uuser -ppassword

    source /root/all_mysql.sql

    数据文件单独存放(共享表空间改为每个表独立的表空间文件)。

    想要将共享表空间转化为独立表空间有两种方法:
        1.先逻辑备份,之后删除所有数据库关闭mysql服务,删除idbdata1及id_logfile0跟id_logfile1文件,然后修改配置文件my.cnf中的参数innodb_file_per_table参数为1,重启服务后将逻辑备份导入即可。
        2.修改配置文件my.cnf中的参数innodb_file_per_table参数为1,重启服务后将需要修改的所有innodb表都执行一遍:alter table table_name engine=innodb;

        使用第二种方式修改后,原来库中的表中的数据会继续存放于ibdata1中,新建的表才会使用独立表空间
    参考:https://www.cnblogs.com/mikeguan/p/8018531.html
     
  • 相关阅读:
    Mybatis Generator生成Mybatis Dao接口层*Mapper.xml以及对应实体类
    ssh通过pem文件登陆服务器
    maven私服nexus上传第三方jar包以及下载
    springboot不占用端口启动
    springboot2.x纯注解整合dubbo
    mysql5.7 group by语法 1055
    java读取pdf文本转换html
    java 记录对象前后修改的内容(工具类)
    在docker中运行mysql实例
    Linux编辑启动停止重启springboot jar包脚本
  • 原文地址:https://www.cnblogs.com/edda/p/13065394.html
Copyright © 2011-2022 走看看