Java笔记（一）Eclipse 操作MySQL数据库的效率问题

说明：这是最近学习java过程中遇到的一些问题，顺便记录下来，仅供参考。

去前几天刚简单的测试了一下ADO.NET操作SQL Server的效率，这两天又来试试MySQL，用Eclipse来测试。

硬件环境同前。
软件环境如下：
Eclipse Version : 3.4.0
MySQL Version : 5.0.51b-communicty-nt
JDBC Version: mysql-connector-java-5.1.6-bin.jar
Java Version: 1.6.0_07

测试代码：
  就是简单的往数据库里循环插入100万条记录，再全部读出，最后删除，看看花费多少时间。
   

static Connection conn =null; 
  static Statement stmt=null;
  static ResultSet rs=null;
   
  // 測試連接MySQL數據庫，并讀取內容進行顯示
  private static boolean Conn_MySQL(){
  try{
  conn=DriverManager.getConnection("jdbc:mysql://localhost/test?" + 
"user=root&password=chu");
  Class.forName("com.mysql.jdbc.Driver").newInstance();
  try{
  stmt=conn.createStatement();
  return true;
  }
  catch(SQLException s_e){
  System.out.println("s_E"+s_e.getMessage().toString());
  return false;
  }
  }
  catch(SQLException s_e){
  System.out.println("连接错误！SQLException"+s_e.toString());
  return false;
  }
  catch(ClassNotFoundException c_e){
  System.out.println("连接错误！ClassNotFoundException"+c_e.toString());
  return false;
  }
  catch(InstantiationException in_e){
  System.out.println("连接错误！InstantiationException"+in_e.toString());
  return false;
  }
  catch(IllegalAccessException il_e){
  System.out.println("连接错误！IllegalAccessException"+il_e.toString());
  return false;
  }
  }
   
  // 执行SQL语句,要求数据库已经连接好，本函数不负责检测
  // 参数flag表示sql语句类型
  // 1:select 等要求返回结果的查询语句
  // 2:insert，update,delete 等不要求返回查询结果的更新语句
  //
  private static void ExeSQL(String sql,int flag){
  try{
  long begin_SQL_Ticks=System.currentTimeMillis();
  boolean sql_exe=false;
  //for(int i=0;i<1000000;i++){
  sql_exe=stmt.execute(sql);
  //}
  long end_SQL_Ticks=System.currentTimeMillis();
  if(sql_exe){
  //如果要求返回结果
  if(flag==1){
  rs=stmt.getResultSet();
  rs.first();
  while(!rs.isLast()){
  System.out.print(rs.getString(1)+" ");
  System.out.print(rs.getInt(2)+" ");
  System.out.print(rs.getInt(3)+"\n");
  rs.next();
  }
  rs.last();
  System.out.print(rs.getString(1)+" ");
  System.out.print(rs.getInt(2)+" ");
  System.out.print(rs.getInt(3)+"\n");
  long show_Ticks=System.currentTimeMillis();
  System.out.println("显示共耗时："+(show_Ticks-end_SQL_Ticks)+"毫秒");
  }
  }
  System.out.println("执行SQL语句共耗时："+(end_SQL_Ticks-begin_SQL_Ticks)+"毫秒");
  }
  catch(SQLException s_e){
  System.out.println(s_e.getMessage());
  }
  }
   
  public static void main(String[] args) {
  if(Conn_MySQL()){  
  ExeSQL("insert into test_1 values('nalan',435,65786888)",2);
  ExeSQL("select * from test_1",1);
  ExeSQL("delete from test_1",2);

但奇怪的是，这次执行过程极为缓慢：大概20分钟才插入5万多条记录！这在前面测试SQL Server中是不可想象的！前面的测试插入100万条花费11分33秒，而且数据记录要大很多，


下面是MySQL 5.1参考手册里给的一些说法：

INSERT语句的速度
插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：
连接：(3)
发送查询给服务器：(2)
分析查询：(2)
插入记录：（1x记录大小）
插入索引：（1x索引）
关闭：(1)

这不考虑打开表的初始开销，每个并发运行的查询打开。
表的大小以logN (B树)的速度减慢索引的插入。

加快插入的一些方法：
• 如果同时从同一个客户端插入很多行，使用含多个VALUE的INSERT语句同时插入几行。这比使用单行INSERT语句快(在某些情况下快几倍)。如果你正向一个非空表添加数据，可以调节bulk_insert_buffer_size变量，使数据插入更快。参见5.3.3节，“服务器系统变量”。
• 如果你从不同的客户端插入很多行，能通过INSERT DELAYED语句加快速度。参见13.2.4节，“INSERT语法”。
• 用MyISAM，如果在表中没有删除的行，能在SELECT语句正在运行的同时插入行。
• 当从一个文本文件装载一个表时，使用LOAD DATA INFILE。这通常比使用很多INSERT语句快20倍。参见13.2.5节，“LOAD DATA INFILE语法”。
• 当表有很多索引时，有可能要多做些工作使得LOAD DATA INFILE更快些。使用下列过程：
有选择地用CREATE TABLE创建表。
执行FLUSH TABLES语句或命令mysqladmin flush-tables。
使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name。这将从表中取消所有索引的使用。
用LOAD DATA INFILE把数据插入到表中，因为不更新任何索引，因此很快。
如果只想在以后读取表，使用myisampack压缩它。参见15.1.3.3节，“压缩表特性”。
用myisamchk -r -q /path/to/db/tbl_name重新创建索引。这将在写入磁盘前在内存中创建索引树，并且它更快，因为避免了大量磁盘搜索。结果索引树也被完美地平衡。
执行FLUSH TABLES语句或mysqladmin flush-tables命令。
请注意如果插入一个空MyISAM表，LOAD DATA INFILE也可以执行前面的优化；主要不同处是可以让myisamchk为创建索引分配更多的临时内存，比执行LOAD DATA INFILE语句时为服务器重新创建索引分配得要多。
也可以使用ALTER TABLE tbl_name DISABLE KEYS代替myisamchk --keys-used=0 -rq /path/to/db/tbl_name，使用ALTER TABLE tbl_name ENABLE KEYS代替myisamchk -r -q /path/to/db/tbl_name。使用这种方式，还可以跳过FLUSH TABLES。

• 锁定表可以加速用多个语句执行的INSERT操作：
LOCK TABLES a WRITE;
INSERT INTO a VALUES (1,23),(2,34),(4,33);
INSERT INTO a VALUES (8,26),(6,29);
UNLOCK TABLES;
这样性能会提高，因为索引缓存区仅在所有INSERT语句完成后刷新到磁盘上一次。一般有多少INSERT语句即有多少索引缓存区刷新。如果能用一个语句插入所有的行，就不需要锁定。
对于事务表，应使用BEGIN和COMMIT代替LOCK TABLES来加快插入。

锁定也将降低多连接测试的整体时间，尽管因为它们等候锁定最大等待时间将上升。例如：
Connection 1 does 1000 inserts
Connections 2, 3, and 4 do 1 insert
Connection 5 does 1000 inserts
如果不使用锁定，2、3和4将在1和5前完成。如果使用锁定，2、3和4将可能不在1或5前完成，但是整体时间应该快大约40%。

INSERT、UPDATE和DELETE操作在MySQL中是很快的，通过为在一行中多于大约5次连续不断地插入或更新的操作加锁，可以获得更好的整体性能。如果在一行中进行多次插入，可以执行LOCK TABLES，随后立即执行UNLOCK TABLES(大约每1000行)以允许其它的线程访问表。这也会获得好的性能。
INSERT装载数据比LOAD DATA INFILE要慢得多，即使是使用上述的策略。
• 为了对LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度，通过增加key_buffer_size系统变量来扩大 键高速缓冲区。参见7.5.2节，“调节服务器参数”。

createStatement
Statement createStatement()
  throws SQLException
创建一个 Statement 对象来将 SQL 语句发送到数据库。没有参数的 SQL 语句通常使用 Statement 对象执行。如果多次执行相同的 SQL 语句，使用 PreparedStatement 对象可能更有效。 

使用返回的 Statement 对象创建的结果集在默认情况下类型为 TYPE_FORWARD_ONLY，并带有 CONCUR_READ_ONLY 并发级别。 

返回：
一个新的默认 Statement 对象 
抛出： 
SQLException - 如果发生数据库访问错误

prepareStatement
PreparedStatement prepareStatement(String sql)
  throws SQLException
创建一个 PreparedStatement 对象来将参数化的 SQL 语句发送到数据库。 

带有 IN 参数或不带有 IN 参数的 SQL 语句都可以被预编译并存储在 PreparedStatement 对象中。然后可以有效地使用此对象来多次执行该语句。 

注：为了处理受益于预编译的带参数 SQL 语句，此方法进行了优化。如果驱动程序支持预编译，则 prepareStatement 方法会将该语句发送给数据库进行预编译。一些驱动程序可能不支持预编译。在这种情况下，执行 PreparedStatement 对象之前无法将语句发送给数据库。这对用户没有直接的影响；但它的确会影响抛出某些 SQLException 对象的方法。 

使用返回的 PreparedStatement 对象创建的结果集在默认情况下类型为 TYPE_FORWARD_ONLY，并带有 CONCUR_READ_ONLY 并发级别。 

参数：
sql - 可能包含一个或多个 '?' IN 参数占位符的 SQL 语句 
返回：
包含预编译的 SQL 语句的新的默认 PreparedStatement 对象 
抛出： 
SQLException - 如果发生数据库访问错误