zoukankan      html  css  js  c++  java
  • 自制工具,将SqlServer数据导入到SqlCE数据库

    最近做一个SqlCE项目,需要频繁地从SqlServer2008服务器上提取数据到SqlCE数据库。

    SqlServer2008中有生成数据脚本功能,可以通过脚本向导(右键点击数据库-〉任务-〉生成脚本)实现。但经常这么导数据太麻烦,一天导10几次能把你导崩溃。。。

    突然想到动软代码生成器里边有生成数据脚本的功能。于是拿来参考着做了个SqlServer到SqlCE的数据转工具。

    先晒一下界面:

    clip_image002

    主要功能: 

    1、输入数据库名和表名,生成创建SQLCE数据库的脚本和向SQKCE数据库中插入数据的脚本。

    2、将脚本输出到文件。

    3、直接生成SQLCE数据库。

    实现方法 

    1、SqlServer中表结构的获取(根据动软代码生成器

    要从创建表,首先要提取表的结构信息。以下代码组织了一个用于查询表结构的Sql语句。

     
                StringBuilder strSql = new StringBuilder();
    strSql.Append("SELECT ");
    strSql.Append("colorder=C.column_id,");
    strSql.Append("ColumnName=C.name,");
    strSql.Append("TypeName=T.name, ");
    //strSql.Append("Length=C.max_length, ");
    strSql.Append("Length=CASE WHEN T.name='nchar' THEN C.max_length/2 WHEN T.name='nvarchar' THEN C.max_length/2 ELSE C.max_length END,");
    strSql.Append("Preci=C.precision, ");
    strSql.Append("Scale=C.scale, ");
    strSql.Append("IsIdentity=CASE WHEN C.is_identity=1 THEN N'√'ELSE N'' END,");
    strSql.Append("isPK=ISNULL(IDX.PrimaryKey,N''),");

    strSql.Append("Computed=CASE WHEN C.is_computed=1 THEN N'√'ELSE N'' END, ");
    strSql.Append("IndexName=ISNULL(IDX.IndexName,N''), ");
    strSql.Append("IndexSort=ISNULL(IDX.Sort,N''), ");
    strSql.Append("Create_Date=O.Create_Date, ");
    strSql.Append("Modify_Date=O.Modify_date, ");

    strSql.Append("cisNull=CASE WHEN C.is_nullable=1 THEN N'√'ELSE N'' END, ");
    strSql.Append("defaultVal=ISNULL(D.definition,N''), ");
    strSql.Append("deText=ISNULL(PFD.[value],N'') ");

    strSql.Append("FROM sys.columns C ");
    strSql.Append("INNER JOIN sys.objects O ");
    strSql.Append("ON C.[object_id]=O.[object_id] ");
    strSql.Append("AND (O.type='U' or O.type='V') ");
    strSql.Append("AND O.is_ms_shipped=0 ");
    strSql.Append("INNER JOIN sys.types T ");
    strSql.Append("ON C.user_type_id=T.user_type_id ");
    strSql.Append("LEFT JOIN sys.default_constraints D ");
    strSql.Append("ON C.[object_id]=D.parent_object_id ");
    strSql.Append("AND C.column_id=D.parent_column_id ");
    strSql.Append("AND C.default_object_id=D.[object_id] ");
    strSql.Append("LEFT JOIN sys.extended_properties PFD ");
    strSql.Append("ON PFD.class=1 ");
    strSql.Append("AND C.[object_id]=PFD.major_id ");
    strSql.Append("AND C.column_id=PFD.minor_id ");
    // strSql.Append("--AND PFD.name='Caption' -- 字段说明对应的描述名称(一个字段可以添加多个不同name的描述) ");
    strSql.Append("LEFT JOIN sys.extended_properties PTB ");
    strSql.Append("ON PTB.class=1 ");
    strSql.Append("AND PTB.minor_id=0 ");
    strSql.Append("AND C.[object_id]=PTB.major_id ");
    // strSql.Append("-- AND PFD.name='Caption' -- 表说明对应的描述名称(一个表可以添加多个不同name的描述) ");
    strSql.Append("LEFT JOIN ");// -- 索引及主键信息
    strSql.Append("( ");
    strSql.Append("SELECT ");
    strSql.Append("IDXC.[object_id], ");
    strSql.Append("IDXC.column_id, ");
    strSql.Append("Sort=CASE INDEXKEY_PROPERTY(IDXC.[object_id],IDXC.index_id,IDXC.index_column_id,'IsDescending') ");
    strSql.Append("WHEN 1 THEN 'DESC' WHEN 0 THEN 'ASC' ELSE '' END, ");
    strSql.Append("PrimaryKey=CASE WHEN IDX.is_primary_key=1 THEN N'√'ELSE N'' END, ");
    strSql.Append("IndexName=IDX.Name ");
    strSql.Append("FROM sys.indexes IDX ");
    strSql.Append("INNER JOIN sys.index_columns IDXC ");
    strSql.Append("ON IDX.[object_id]=IDXC.[object_id] ");
    strSql.Append("AND IDX.index_id=IDXC.index_id ");
    strSql.Append("LEFT JOIN sys.key_constraints KC ");
    strSql.Append("ON IDX.[object_id]=KC.[parent_object_id] ");
    strSql.Append("AND IDX.index_id=KC.unique_index_id ");
    strSql.Append("INNER JOIN ");// 对于一个列包含多个索引的情况,只显示第1个索引信息
    strSql.Append("( ");
    strSql.Append("SELECT [object_id], Column_id, index_id=MIN(index_id) ");
    strSql.Append("FROM sys.index_columns ");
    strSql.Append("GROUP BY [object_id], Column_id ");
    strSql.Append(") IDXCUQ ");
    strSql.Append("ON IDXC.[object_id]=IDXCUQ.[object_id] ");
    strSql.Append("AND IDXC.Column_id=IDXCUQ.Column_id ");
    strSql.Append("AND IDXC.index_id=IDXCUQ.index_id ");
    strSql.Append(") IDX ");
    strSql.Append("ON C.[object_id]=IDX.[object_id] ");
    strSql.Append("AND C.column_id=IDX.column_id ");
    strSql.Append("WHERE O.name=N'" + TableName + "' ");
    strSql.Append("ORDER BY O.name,C.column_id ");



    TableName为用户输入的表名称。查询结果是一个包含了表详细信息的DataTable(通过ADO.NET的SqlDataAdapter将数据Fill到DataSet中)。

    有了这些信息我们就可以生成创建表的语句了。(注:这些语句不适合SqlServer2000。具体这些语句是什么意思,问老李吧。。我也看不是很明白。)

    2、自定义一个SqlServer中数据类型到SQLCE数据类型的映射。

    SqlCE只支持18种数据类型,比SqlServer少的多。因此如果原数据库中有SqlCE不支持的数据类型,需要手动将数据类型映射为SqlCE数据类型。具体怎样映射,应可以根据需要手动设置。

    还有一些用户自定义的数据类型,在SqlCE中是不可以使用的。也需要映射。下面这个类完成数据的映射功能。

    首先编辑一个数据映射表(TypeMap.txt),保存一些如下面格式的数据:

    bigint=bigint;

    binary=binary;

    char=nchar;

    date=datetime;

    decimal=float;

    nvarchar=nvarchar;

    varchar=nvarchar;

    real=real;

    smalldatetime=datetime;

    smallint=smallint;

    smallmoney=money;

    text=ntext;

    tinyint=tinyint;

    uniqueidentifier=uniqueidentifier;

    varbinary=varbinary;

    NGUD=uniqueidentifier

    前面是SqlServer中的数据类型,后边是想要映射到SqlCE中的数据类型,中间一分号隔开。这个映射可以根据需要手动调整。

    下边类中的GetMapedDataType()函数返回映射后的数据类型。 

        public class TypeMap
    {
    //获取数据库(SqlServer和SqlCE)字段类型映射
    private static string datafile = System.Windows.Forms.Application.StartupPath + "\\TypeMap.txt";

    //加载数据类型映射表
    private static string[] LoadTypeMap()
    {
    string s = string.Empty;
    if (File.Exists(datafile))
    {
    StreamReader sr = new StreamReader(datafile, Encoding.UTF8);
    //读取数据到字符串中
    s = sr.ReadToEnd();
    sr.Close();
    }
    //替换掉字符串中的回车换行符
    s= s.Replace("\r\n", " ");
    return s.Split(';');
    }

    /// <summary>
    /// 获取数据库(SqlServer和SqlCE)字段类型映射
    /// </summary>
    /// <param name="sourceType">SqlServer数据类型</param>
    /// <returns>SqlCE数据类型</returns>
    public static string GetMapedDataType(string sourceType)
    {
    string[] ss = TypeMap.LoadTypeMap();
    //在映射表中查找原始类型映射后的数据类型
    foreach (string s in ss)
    {
    string[] sss = s.Split('=');
    if (sss[0].ToLower() == sourceType.ToLower())
    {
    //如果找到,则返回映射后的类型
    return sss[1];
    }
    }
    //找不到,返回输入的类型
    return sourceType;
    }
    }

    3、生成创建表的语句(create table….

                StringBuilder strclass = new StringBuilder();
    //strclass.AppendLine("if exists (select * from sysobjects where id = OBJECT_ID('[" + tablename + "]') and OBJECTPROPERTY(id, 'IsUserTable') = 1) ");
    //strclass.AppendLine("DROP TABLE [" + tablename + "]");

    //string PKfild = "";//主键字段
    //bool IsIden = false;//是否是标识字段
    StringBuilder ColdefaVal = new StringBuilder();//字段的默认值列表

    Hashtable FildtabList = new Hashtable();//字段列表(字段名,字段类型)
    StringBuilder FildList = new StringBuilder();//字段列表

    DataTable dt = (1中语句查询后得到的表); //包含表详细信息的DataTable

    //开始生成创建表语句。
    //建表第一句…..终于开始了
    strclass.AppendLine("CREATE TABLE [" + tablename + "] (");

    if (dt != null)
    {
    DataRow[] dtrows;
    dtrows = dt.Select(); //这里可以做点简单的筛选

    ////也可以这样
    //foreach (DataRow row in dt.Rows)
    //{
    // //。。。。。。。
    //}

    foreach (DataRow row in dtrows)
    {
    string columnName = row["ColumnName"].ToString();
    string columnType = TypeMap.GetMapedDataType(row["TypeName"].ToString());//转换后的数据类型

    string IsIdentity = row["IsIdentity"].ToString();
    string Length = row["Length"].ToString();
    string Preci = row["Preci"].ToString();
    string Scale = row["Scale"].ToString();
    string ispk = row["isPK"].ToString();
    string isnull = row["cisNull"].ToString();
    string defaultVal = row["defaultVal"].ToString();

    strclass.Append("[" + columnName + "] [" + columnType + "] ");

    switch (columnType.Trim())
    {
    case "varchar":
    case "char":
    case "nchar":
    case "binary":
    case "nvarchar":
    case "varbinary":
    {
    string len = this.GetDataTypeLenVal(columnType.Trim(), Length);//获取字符串长度(注2)
    strclass.Append(" (" + len + ")");
    }
    break;
    case "decimal":
    case "numeric":
    strclass.Append(" (" + Preci + "," + Scale + ")");
    break;
    }
    if (isnull == "")
    {
    strclass.Append(" NULL");
    }
    else
    {
    strclass.Append(" NOT NULL");
    }
    if (defaultVal != " ")
    {
    strclass.Append(" DEFAULT " + defaultVal);
    }
    strclass.AppendLine(",");

    FildtabList.Add(columnName, columnType);
    FildList.Append("[" + columnName + "],");

    //if(defaultVal!="")
    //{
    // ColdefaVal.Append("CONSTRAINT [DF_"+tablename+"_"+columnName+"] DEFAULT "+defaultVal+" FOR ["+columnName+"],");
    //}

    //if((ispk=="√")&&(PKfild==""))
    //{
    // PKfild=columnName;//得到主键
    //}
    }
    }
    string s = strclass.ToString();

    //去掉strclass()中最后一个豆号
    int n = s.LastIndexOf(',');
    string ss = s.Substring(0, n) + ")";
    strclass.Remove(0, strclass.ToString().Length);
    strclass.Append(ss);
    strclass.Append(";");//添加一个分号(;)用于分割字符串
    strclass.AppendLine(" ");
    strclass.AppendLine(" ");

    //去掉FildList(字段列表)中最后一个豆号
    s = FildList.ToString();
    n = s.LastIndexOf(',');
    ss = s.Substring(0, n);
    FildList.Remove(0, FildList.ToString().Length);
    FildList.Append(ss);

    //开始获取表中数据,dtdata中包含了查询数据库得到的数据
    DataTable dtdata = this.getData(dbname,tablename);
    //生成插入数据语句
    if (dtdata != null)
    {
    foreach (DataRow row in dtdata.Rows)//循环表数据
    {
    StringBuilder strfild = new StringBuilder();
    StringBuilder strdata = new StringBuilder();
    //字段数组
    string[] split = FildList.ToString().Split(new Char[] { ',' });

    foreach (string fild in split)//循环一行数据的各个字段
    {
    string colname = fild.Substring(1, fild.Length - 2);
    string coltype = " ";
    foreach (DictionaryEntry myDE in FildtabList)
    {
    if (myDE.Key.ToString() == colname)
    {
    coltype = myDE.Value.ToString();
    }
    }
    string strval = " ";
    switch (coltype)
    {
    case "binary":
    {
    //我的数据库中没有binary型数据,这里没有处理;
    }
    break;
    case "bit":
    {
    strval = (row[colname].ToString().ToLower() == "true") ? "1" : "0";
    }
    break;
    default:
    strval = row[colname].ToString().Trim().Replace(';',';');
    break;
    }
    strdata.Append("'" + strval.Replace('\'', '°') + "',"); //字段中剔除分号“’”
    strfild.Append("[" + colname.Replace('\'', '°') + "],");//数据中剔除分号“’”

    }
    //还是三删除最后一个逗号
    n = strdata.ToString().LastIndexOf(',');
    ss = strdata.ToString().Substring(0, n);
    strdata.Remove(0,strdata.ToString().Length);
    strdata.Append(ss);

    n = strfild.ToString().LastIndexOf(',');
    ss = strfild.ToString().Substring(0, n);
    strfild.Remove(0, strfild.ToString().Length);
    strfild.Append(ss);


    //导出数据INSERT语句
    strclass.Append("INSERT [" + tablename + "] (");
    strclass.Append(strfild.ToString()); //插入字段集
    strclass.Append(") VALUES ( ");
    strclass.Append(strdata.ToString().Replace(';',';');//数据值。并将英文分号替换为全角分号。
    strclass.AppendLine(");");
    //一条插入语句完成
    }
    }

    //删除语句中最后一个分号
    n = strclass.ToString().LastIndexOf(';');
    ss = strclass.ToString().Substring(0,n);
    strclass.Remove(0, strclass.ToString().Length);
    strclass.Append(ss);

    return strclass.ToString();
    }

    注:1、这里使用分号将每条语句隔开,是为了使用的方便。因为SqlCE不能一次执行多条语句,向表中插入数据只能一条条地循环。用分号分割后方便以后的使用。

    2、GetDataTypeLenVal函数来自动软代码生成器。没必要列出

    4、使用脚本生成SqlCE数据库。

    代码如下,说明很详细就不啰嗦了

    首先添加引用System.Data.SqlServerCe的引用:

    之后再代码中添加对SqlServerCE的引用:

    using System.Data.SqlServerCe;

    开始:

        public class SDF
    {
    string fileName = "C:\\123.sdf"; //要创建的SQLCE数据库位置
    public SDF(string file)
    {
    fileName = file;
    }
    /// <summary>
    /// 创建数据库函数
    /// </summary>
    /// <param name="file"></param>
    private void CreateDB(string file)
    {
    fileName = file;
    //SQLCE连接字符串
    string connStr = "Data Source=" + file;
    try
    {
    if (File.Exists(file))
    {
    File.Delete(file);
    }
    //在指定位置创建数据库
    SqlCeEngine eng = new SqlCeEngine();
    eng.LocalConnectionString = connStr;
    eng.CreateDatabase();
    }
    catch (Exception exp)
    {
    throw exp;
    }
    }

    //执行传入的脚本,在SqlCE数据库中创建表并插入数据
    private void CreateTab(string ScriptStr)
    {
    string connStr = "Data Source=" + fileName;
    string[] ss = ScriptStr.Split(';');//分割脚本语句。
    using (SqlCeConnection conn = new SqlCeConnection(connStr))
    {
    //SQLCE中逐条执行语句。。。
    SqlCeCommand cmd = new SqlCeCommand();
    cmd.Connection = conn;
    conn.Open();
    foreach (string sqlstr in ss)
    {
    cmd.CommandText = sqlstr;//循环
    cmd.ExecuteNonQuery();
    }
    conn.Close();
    }
    }

    //通过文件名和脚本文件组装数据库
    public void Create(string File, string Script)
    {
    this.CreateDB(File);
    this.CreateTab(Script);
    }
    }

    在程序中调用方法

             if (this.saveToFile.ShowDialog() == DialogResult.OK)
    {
    SDF sdf = new SDF(" "); //懒得输入了。。其实不输入文件名也行
    string filaname = saveToFile.FileName;  //只要在这里将文件名传进去就行了
    //将文本写入SqlCE数据库
    sdf.Create(filaname, this.GetCode());
    }

    5、字段类型映射的设置方法:

    在下边界面中输入映射类型,前边是原始字段类型后边是SqlCE支持的字段类型

    clip_image004

    6、总结

    分析表的结构,然后组织创建表语句-〉查询数据,组织插入语句。读取文件中字符串映射,替换原来映射。

    为了省事,没有设置主键;对所有字段都进行操作,不管是不是空。

    虽然效率不高,比手工快多了。。呵呵

    测试中,对九千多条数据2-3秒就可以完事。数据量太大就不行了。

    60万条数据能让我的几近崩溃。。。原因很简单:string字符串太长,而且全部保存在内存中。可是谁家PDA中方60万条数据呢?暂时不动了。。。

  • 相关阅读:
    [fw]PAGE_SIZE & PAGE_SHIFT & _AC()
    Memory layout of x86_64 in Linux
    Compile Linux Kernel on Ubuntu 12.04 LTS (Detailed)
    ret/retn人为改变执行地址
    [fw]LINUX中断描述符初始化
    查看x86主機是否支援64bit in Linux
    Linux.中断处理.入口x86平台entry_32.S
    [fW]中断处理函数数组interrupt[]初始化
    Linux GNU GAS introduction
    洛谷试炼场 3-5数论 3-17 倍增
  • 原文地址:https://www.cnblogs.com/weixing/p/2155374.html
Copyright © 2011-2022 走看看