数据库数据在Java占用内存简单估算

数据库数据在Java占用内存简单估算

 

结论：

1.数据库记录放在JAVA里，用对象(ORM一般的处理方式)须要4倍左右的内存空间。用HashMap这样的KV保存须要10倍空间;

2.假设你主要数据是text大文本，那空间一般能够按2倍估算。

以上是一个通用数据測试结论。估大家參考。

 

数据库记录占用的空间大小比較好算，比方一个int占用4字节。bigint占用8字节。date占用3字节，datetime占用8字节,varchar是变长字节等。假设不想精确计算，在数据库中通过统计信息也能够比較轻松的知道表总共占用的空间及每条记录平均行长。

 

当我们用JDBC訪问数据库时。常常会被问到内存溢出的问题。因为java是面向对象的语言。用JVM来自己主动内存回收。不能按普通方法计算内存，本文给出一个估算内存的思路和參考答案

 

先给出普通JDBC中数据库对象与内存的映射关系

 

MySQL	Oracle	JDBC
Int		Integer
Int unsigned		Long
BigInt		Long
BigInt unsigned		BigInteger
Decimal	Number	BigDecimal
Varchar	Varchar2	String
Date		Date
Datetime	Date	Timestamp
Timestamp	Timestamp	Timestamp
Clob	Clob	String
Blob	blob	Byte[]
Text	Clob	String
float	binary_float	float
double	binary_double	double

 

上面这个比較好理解，接下来我们须要JAVA经常使用对象的内存占用空间，这个能够通过JDK 5 開始提供的Instrumentation 接口来完毕，也能够通过开源的sizeOf.jar 来測试。笔者是通过sizeOf.jar验证的。測试结果数据例如以下：

 

对象	64位 JVM 压缩指针	64位 JVM 非压缩指针
Integer	16	24
Long	24	24
Object	16	16
Date	24	32
Timestamp	32	40
String_0	48	64
String_1	56	72
String_10	72	88
String_100	248	264
StringBuilder	24	32
BigDecimal	40	48
BigInteger	64	80
HashMap	128	216
HashMap_0	72	96
HashMap_100	576	1112
HashMap_10000	65600	131160
ArrayList	80	144
ArrayList_0	40	64
ArrayList_100	440	864
ArrayList_10000	40040	80064
LinkedList	48	80
LinkedHashMap	96	144
ClassA	32	40
ClassB	40	48
ClassC	40	56

 

 

因为如今主机一般都是64位， 64位JVM从JDK1.6.45開始，当JVM最大内存小于32GB时，自己主动打开压缩指针特性。这样对象的内存占用空间少非常多，由上表能够看出。至少降低1/3的空间。

 

以下我们结合数据库数据来測试

假如mysql数据库有一张emp表，结构例如以下：

CREATE TABLE `emp` (
  `id` int(11) NOT NULL,
  `create_time` datetime DEFAULT NULL,
  `modify_time` datetime DEFAULT NULL,
  `name` varchar(16) DEFAULT NULL,
  `address` varchar(256) DEFAULT NULL,
  `age` smallint(6) DEFAULT NULL,
  `height` decimal(10,2) DEFAULT NULL,
  `weight` decimal(10,2) DEFAULT NULL,
  `phone` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

样本数据例如以下：

hm.put("id", 1988);
hm.put("createTime", new Date());
hm.put("modifyTime", new Date());
hm.put("name", "张三丰");
hm.put("address","浙江杭州市西湖大道188号808室");
hm.put("age",88);
hm.put("weight",new BigDecimal(88));
hm.put("height",new BigDecimal(188));
hm.put("phone","1388888888");

按上面样本数据计算，有效数据约80字节。在MySQL里占用空间约120字节

在java里转换为HashMap和Emp对象測试空间例如以下

 

对象	64位 JVM 压缩指针	64位 JVM 非压缩指针
HashMap_empty	128	216
HashMap_full	1360	1832
Emp_empty	72	112
Emp_full	464	600

 

 

从上面測试结果看。数据到JAVA里占用的空间添加了很多，在64位压缩指针下，假设存到HashMap，须要1360字节，空间是数据库约11.3倍，假设存为Emp普通对象，须要464字节，是数据库的3.8倍。

 

假设我们是一个分页从数据库读取emp信息，每页显示50条记录，用List保存。HashMap须要68KB。emp对象须要23KB。

依据这个简单測试，我们能够总结一个结论：

 

数据库记录放在JAVA里，用对象(ORM一般的处理方式)须要4倍左右的内存空间。用HashMap这样的KV保存须要10倍空间。

假设你的数据和參考数据差异很大，如主要数据text大文本，那空间一般能够简单的按2倍估算。

以上是一个通用数据測试结论。估大家參考。

以下是測试代码：

import net.sourceforge.sizeof.SizeOf;
import java.io.IOException;
import java.math.BigDecimal;
import java.math.BigInteger;
import java.sql.SQLException;
import java.sql.Timestamp;
import java.util.*;

public class TestSize {
    static {
        SizeOf.skipStaticField(true); //java.sizeOf will not compute static fields
        //SizeOf.skipFinalField(true); //java.sizeOf will not compute final fields
        //SizeOf.skipFlyweightObject(true); //java.sizeOf will not compute well-known flyweight objects
    }
    public static void main(String[] args) throws SQLException, IOException, IllegalAccessException {
        TestSize ts=new TestSize();
        ts.testObjectSize();
        ts.testDataSize();
        System.out.println("ok");
    }

    public void testObjectSize() {
        System.out.println("Integer:"+SizeOf.deepSizeOf(new Integer(56)));
        System.out.println("Long:"+SizeOf.sizeOf(new Long(56L)));
        System.out.println("Object:"+SizeOf.sizeOf(new Object()));
        System.out.println("Date:"+SizeOf.sizeOf(new Date()));
        System.out.println("Timestamp:"+SizeOf.sizeOf(new Timestamp(System.currentTimeMillis())));
        System.out.println("String_0:"+SizeOf.deepSizeOf(new String()));
        System.out.println("String_1:"+SizeOf.deepSizeOf(new String("1")));
        System.out.println("String_10:"+SizeOf.deepSizeOf(new String("0123456789")));
        System.out.println("String_100:"+SizeOf.deepSizeOf("0123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789"));
        System.out.println("StringBuilder:"+SizeOf.deepSizeOf(new StringBuilder()));
        System.out.println("BigDecimal:"+SizeOf.deepSizeOf(new BigDecimal("34535643.23")));
        System.out.println("BigInteger:"+SizeOf.deepSizeOf(new BigInteger("34535643")));
        System.out.println("HashMap:"+SizeOf.deepSizeOf(new HashMap()));
        System.out.println("HashMap_0:"+SizeOf.deepSizeOf(new HashMap(0)));
        System.out.println("HashMap_100:"+SizeOf.deepSizeOf(new HashMap(100)));
        System.out.println("HashMap_10000:" + SizeOf.deepSizeOf(new HashMap(10000)));
        System.out.println("ArrayList:"+SizeOf.deepSizeOf(new ArrayList()));
        System.out.println("ArrayList_0:"+SizeOf.deepSizeOf(new ArrayList(0)));
        System.out.println("ArrayList_100:"+SizeOf.deepSizeOf(new ArrayList(100)));
        System.out.println("ArrayList_10000:"+SizeOf.deepSizeOf(new ArrayList(10000)));
        System.out.println("LinkedList:"+SizeOf.deepSizeOf(new LinkedList<Object>()));
        System.out.println("LinkedHashMap:"+SizeOf.deepSizeOf(new LinkedHashMap<Object,Object>()));

        System.out.println("ClassA:" + SizeOf.deepSizeOf(new ClassA()));
        System.out.println("ClassB:"+SizeOf.deepSizeOf(new ClassB()));
        System.out.println("ClassC:"+SizeOf.deepSizeOf(new ClassC()));

    }
    public void testDataSize() throws IOException, IllegalAccessException {
        HashMap hm=new HashMap();
        System.out.println("HashMap_empty:"+SizeOf.deepSizeOf(hm));
        hm.put("id", 1988);
        hm.put("createTime", new Date());
        hm.put("modifyTime", new Date());
        hm.put("name", "张三丰");
        hm.put("address","浙江杭州市西湖大道188号808室");
        hm.put("age",88);
        hm.put("weight",new BigDecimal(88));
        hm.put("height",new BigDecimal(188));
        hm.put("phone","1388888888");
        System.out.println("HashMap_full:" + SizeOf.deepSizeOf(hm));
        Emp emp=new Emp();
        System.out.println("Emp_empty:"+SizeOf.deepSizeOf(emp));
        emp.setId(1988);
        emp.setCreateTime(new Timestamp(System.currentTimeMillis()));
        emp.setModifyTime(new Timestamp(System.currentTimeMillis()));
        emp.setName("张三丰");
        emp.setAddress("浙江杭州市西湖大道188号808室");
        emp.setAge(28);
        emp.setWeight(new BigDecimal("88"));
        emp.setHeight(new BigDecimal("188"));
        emp.setPhone("13888888888");
        System.out.println("Emp_full:"+SizeOf.deepSizeOf(emp));
    }
    class ClassA{
    }
    class ClassB extends  ClassA{
    }
    class ClassC extends  ClassB{
    }
    class Emp{
        private Integer id;
        private Timestamp createTime;
        private Timestamp modifyTime;
        private String name;
        private String address;
        private Integer age;
        private BigDecimal height;
        private BigDecimal weight;
        private String phone;

        public Integer getId() {
            return id;
        }

        public void setId(Integer id) {
            this.id = id;
        }

        public Timestamp getCreateTime() {
            return createTime;
        }

        public void setCreateTime(Timestamp createTime) {
            this.createTime = createTime;
        }

        public Timestamp getModifyTime() {
            return modifyTime;
        }

        public void setModifyTime(Timestamp modifyTime) {
            this.modifyTime = modifyTime;
        }

        public String getName() {
            return name;
        }

        public void setName(String name) {
            this.name = name;
        }

        public String getAddress() {
            return address;
        }

        public void setAddress(String address) {
            this.address = address;
        }

        public Integer getAge() {
            return age;
        }

        public void setAge(Integer age) {
            this.age = age;
        }

        public BigDecimal getHeight() {
            return height;
        }

        public void setHeight(BigDecimal height) {
            this.height = height;
        }

        public BigDecimal getWeight() {
            return weight;
        }

        public void setWeight(BigDecimal weight) {
            this.weight = weight;
        }

        public String getPhone() {
            return phone;
        }

        public void setPhone(String phone) {
            this.phone = phone;
        }
    }
}