数据库调优过程（五）：物理分表，及写入方案调整

• 背景：

1.      enb下包含多个文件，我们需要解析这样的数据到数据库中，供应用端计算分析使用。之前，我们已经采用了分表方案，分表分为一个主表，三个子表。每一个enb一套表。
2.      解析业务：

     每取到一个文件就读取为一个实体集合到内存中，当一个文件读取完成后，调入库接口；在入库时，先把这个实体集合拆分为主表的datatable对象，三个子表的datatable对象，之后并行入库。

• 分析：

    基于上边的一共包含两个弊端问题：

1.     内存占用高：我们先读取为一个实体集合，之后转化为4个datatable对象才能进行入库，这个过程相当于内存中的数据量成倍的增加了，空间也比最小化内存多了几倍。
2.     入库速度不高：由于入库表过多，而且连接数也有限，网络带宽成为瓶颈，虽然分表了，但是处理一个enb时，需要写入4个物理表；如果并行16个ENB，则会有16enb*24文件*4表次连接写入，过多的连接对sqlserver数据库也没有好处，写入文件过于分散也使得数据库吞吐量提不高。

• 调整：

　　分表改进：

               把原来的分为一套表（一个主表，三个子表）方案修改为一个表，避免过多表同时要求写入影响数据库IO吞吐量；

      解析业务调整：

               每取到一个文件就读取为一个datatable到内存中，当一个文件读取完成后，调入库接口；在入库时，直接把datatable对象入库。

      数据库连接池满问题：

　　　　　针对该问题，我们把所有的数据操作尽可能使用一个连接，避免并行打开过多连接，尽量使得一个ｅｎｂ处理过程中只使用一个数据库连接，同一个ｅｎｂ处理过程中，尽量串行处理。

　　　　　通过加大并行处理ｅｎｂ数量，来提高ｃｐｕ，ｍｅｍｏｒｙ，ｉｏ利用率。