zoukankan      html  css  js  c++  java
  • WEB Service 下实现大数据量的传输

    Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
    再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

    下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
    1. 服务器上面取数据,填充数据集,转换为二进制格式.
     /// <summary>
        /// Method for users data query with binaryFormatter
        /// </summary>
        /// <param name="err"></param>
        /// <returns></returns>
        public byte[] BinaryUserSelect(ref string err)
        {
            ClearCommand();
            m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
            DataSet dsResult = new DataSet();
            byte[] bArrayResult = null;
            try
            {                             
                dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
                // 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
                dsResult.RemotingFormat = SerializationFormat.Binary;
                MemoryStream ms = new MemoryStream();
                IFormatter bf = new BinaryFormatter();
                bf.Serialize(ms, dsResult);
                bArrayResult = ms.ToArray();
                ms.Close();
                //
            }
            catch (Exception ee)
            {
                err = ee.ToString();
            }
            return bArrayResult;       
        }

    2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

    3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

     /// <summary>
            /// Get user data with Binary format
            /// </summary>
            /// <returns></returns>
            public DataSet GetBinaryUserData()
            {
                string err = "";
                byte[] bUserData = svc.ByteArrayUserSelect(ref err);
                if (err != "")
                {
                    MessageBox.Show(err);
                    err = "";
                    return null;
                }
                // 反序列化的过程
                MemoryStream ms = new MemoryStream(bUserData);
                IFormatter bf = new BinaryFormatter();
                object obj = bf.Deserialize(ms);
                DataSet dsResult = (DataSet)obj;
                //
                ms.Close();
                return dsResult;
            }

    同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..

    .net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740   DataSetSurrogate 在.net 2.0里自带
    在.net1.1下的实现方式实例如下
    在这里,有两种方式:可把序列化后的数据用文件形式保存在客户端硬盘;也可用Byte[]方式传回客户端,以下是代码。
    web service 端(文件形式)

      [WebMethod(Description="循环获取远程DATASET")]
      public void SurrogateReadTable(string TableName)
      {
       //把DataSet通过Surrogate Class 序列化成 Binary Stream
     
       DataSet ds;
       ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
       //实例化DataSetSurrogate,传取出的DATASET到构造函数里
       sds = new DataSetSurrogate(ds);
       //实例化二进制流
       BinaryFormatter bf=new BinaryFormatter();
       StreamWriter swDat;
       //写到本地一个文件里
       swDat = new StreamWriter(@"c:\output_surrogate_dataset.dat");
       bf.Serialize(swDat.BaseStream, sds);
       //这里可以知道序列化后的文件的大小
       long size = swDat.BaseStream.Length;
       swDat.Close();
     
      }

    客户端

    private void button1_Click(object sender, System.EventArgs e)
      {
       label1.Text=DateTime.Now.ToString();

       button1.Enabled=false;
       //反序列化Binary Stream能通过Surrogate Class转换成 DataSet

       //从WEB SERVICE上读取方法
       svs.SurrogateRead("t_busdocbase");
       BinaryFormatter bf=new BinaryFormatter();
       StreamReader swDat;
       swDat = new StreamReader(@"c:\output_surrogate_dataset.dat");
       object o=bf.Deserialize(swDat.BaseStream);
      DataSet ds;
       sds = (DataSetSurrogate) o;
       ds = sds.ConvertToDataSet();
       dataGrid1.DataSource=ds.Tables[0];
       swDat.Close();
       }

    web service 端(Byte[]方式)

    [WebMethod(Description="获取业务资料远程DATASET")]
          public byte[] SurrogateRead1()
          {
           DataSet ds;
           ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
           sds = new DataSetSurrogate(ds);
           MemoryStream s= new MemoryStream();
           BinaryFormatter bf = new BinaryFormatter();
           bf.Serialize(s,sds);
        
           byte[] e = s.ToArray();
           return e;
     
          }


    客户端  

    private void button3_Click(object sender, System.EventArgs e)
       {
        label1.Text=DateTime.Now.ToString();

        button3.Enabled=false;
        //*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/

        //从WEB SERVICE上读取方法


         byte [] bb=svs.SurrogateRead1();
         MemoryStream br=new MemoryStream(bb);
         BinaryFormatter bf=new BinaryFormatter();
         object o=bf.Deserialize(br);
         sds = (DataSetSurrogate) o;
         ds = sds.ConvertToDataSet();
         dataGrid1.DataSource=ds.Tables[0];

         br.Close();

        }

    我个人觉得用byte[]方式会安全些,毕竟不用在客户端产生文件,不用担心数据的安全。


    在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter.

    通过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。


     1using System;
     2using System.IO;
     3using System.Data;
     4using System.Runtime.Serialization;
     5using System.Runtime.Serialization.Formatters.Binary;
     6
     7namespace Common
     8{
     9    public class DataFormatter
    10    {
    11        private DataFormatter() { }
    12        /// <summary>
    13        /// Serialize the Data of dataSet to binary format
    14        /// </summary>
    15        /// <param name="dsOriginal"></param>
    16        /// <returns></returns>
    17        static public byte[] GetBinaryFormatData(DataSet dsOriginal)
    18        {
    19            byte[] binaryDataResult = null;
    20            MemoryStream memStream = new MemoryStream();
    21            IFormatter brFormatter = new BinaryFormatter();
    22            dsOriginal.RemotingFormat = SerializationFormat.Binary;
    23
    24            brFormatter.Serialize(memStream, dsOriginal);
    25            binaryDataResult = memStream.ToArray();
    26            memStream.Close();
    27            memStream.Dispose();
    28            return binaryDataResult;
    29        }
    30        /// <summary>
    31        /// Retrieve dataSet from data of binary format
    32        /// </summary>
    33        /// <param name="binaryData"></param>
    34        /// <returns></returns>
    35        static public DataSet RetrieveDataSet(byte[] binaryData)
    36        {
    37            DataSet dataSetResult = null;
    38            MemoryStream memStream = new MemoryStream(binaryData);
    39            IFormatter brFormatter = new BinaryFormatter();
    40
    41            object obj = brFormatter.Deserialize(memStream);
    42            dataSetResult = (DataSet)obj;
    43            return dataSetResult;
    44        }
    45    }
    46}
    47

  • 相关阅读:
    poj 2481
    poj 3928 Ping pong
    再见oi
    NOIP 2014 解方程
    poj1836:Alignment
    poj2479:Maximum sum
    tyvj1510:专家复仇
    tyvj:P1467 通向聚会的道路
    tyvj1176: 火焰巨魔的惆怅
    tyvj1326:剑人合一
  • 原文地址:https://www.cnblogs.com/hhq80/p/675872.html
Copyright © 2011-2022 走看看