使用ORAYLIS BI.Quality基于Ms的BI数据测试

ORAYLIS BI.Quality是一个开源项目，对BI解决方案提供一种简单的测试方案。它是基于NUnit并支持多种测试方法。以下示例是２０１０.３.１２Release v１.０版本。

　　首先，需要下载安装NUnit，然后安装完成后，打到相应的目录，有一个Lib文件夹，找到里面的BI.Quality.dll。这个是已经Bulid好的了。有两种方法来测试，

一种是用NUnit GUI，打开BI.Quality.dll，然后Run….　它会自动加载Queries文件夹下的Files，这些文件包括三种类型，xml是配制文件，sql是用来存储具体查询语句，rslt是结果集文件(这个文件是自动生成，可以删除)。我们打看可以看到是DataSet的XML数据。

　　另一个文件夹Connections，是配制连接字符串。分别对应是OLTP,OLAP,MDX的connection.也是基于XML的。内容像这样：

<Connection>
  <Name>MDX-AdventureWorks</Name>
  <ConnectionString>
    Provider=MSOLAP.4;
    Data Source=.;
    Integrated Security=SSPI;
    Initial Catalog=Adventure Works DW;
  </ConnectionString>
</Connection>

　　下面是一个MDX语句的文件内容：

select
non empty
[Measures].[Internet Sales Amount] on columns,
non empty
[Date].[Calendar].[Calendar Quarter].Members on rows
from
[Adventure Works]
CELL PROPERTIES VALUE;

　　

　　然后我们来看下要对比查询DW T-sql　语句于另一个文件中：

select
  'CY ' + cast(dd.CalendarYear as nvarchar) as Year,
  'H' + cast(dd.CalendarSemester as nvarchar) + ' CY ' + cast(dd.CalendarYear as nvarchar) as Semester,
  'Q' + cast(dd.CalendarQuarter as nvarchar) + ' CY ' + cast(dd.CalendarYear as nvarchar) as Quarter,
  cast(sum(SalesAmount)as money )as InternetSalesAmount
from
   dbo.FactInternetSales fi
   inner join DimDate dd on fi.OrderDateKey = dd.DateKey
group by
  dd.CalendarYear,
  'CY ' + cast(dd.CalendarYear as nvarchar),
  'H' + cast(dd.CalendarSemester as nvarchar) + ' CY ' + cast(dd.CalendarYear as nvarchar),
  'Q' + cast(dd.CalendarQuarter as nvarchar) + ' CY ' + cast(dd.CalendarYear as nvarchar)
order by
  dd.CalendarYear, 3

看NUNIT　GUI测试的结果，我们可以看出有一个比较数据测试发现不同数据：

实际上这个TOOLS是利用NUNIT的单元测试来测试或比较数据，并且这些UnitTest动态配制的，可以在SourceCode中看到：

   [Test, TestCaseSource(typeof(ConfigurationManager), "GetTestCases")]
    public void ExecuteQuery(QueryTestConfiguration queryTestConfiguration)
    {
      // get the connection of the QueryTest and check existance
      ConfigurationManager configurationManager = ConfigurationManager.Instance();
      ConnectionConfiguration connectionConfiguration = configurationManager.Connections[queryTestConfiguration.ConnectionRef];
      Assert.IsNotNull(connectionConfiguration, String.Format("QueryTest {1}: ConnectionRef {0} does not exist", queryTestConfiguration.ConnectionRef, queryTestConfiguration.Name));

      // Open the connection
      OleDbConnection connection = new OleDbConnection(connectionConfiguration.ConnectionString);
      connection.Open();

      // get the querytext and execute the query and store the rslt in dataTable
      DataTable dataTable = new DataTable();
      String queryText = String.Empty;
      try
      {
        queryText = queryTestConfiguration.Query.GetQueryText(queryTestConfiguration.BaseDir);
        OleDbDataAdapter adapter = new OleDbDataAdapter(queryText, connection);
        adapter.SelectCommand.CommandTimeout = 0;

        dataTable.TableName = "rslt";
        adapter.FillSchema(dataTable, SchemaType.Mapped);
        adapter.Fill(dataTable);

        CorrectDataTable(dataTable);
      }
      catch (Exception ex)
      {
        System.Console.Out.WriteLine("Query:");
        System.Console.Out.WriteLine(queryText);
        System.Console.Out.WriteLine("Message:");
        System.Console.Out.WriteLine(ex.Message);
        Assert.Fail("Exception ouccured while executing the query: " + ex.Message);
      }
      finally
      {
        connection.Close();
      }

      // save the DataTable to File
      if (queryTestConfiguration.RsltFile != null)
      {
        FileInfo fi = new FileInfo(queryTestConfiguration.BaseDir + "\\" + queryTestConfiguration.RsltFile);
        dataTable.WriteXml(fi.FullName,XmlWriteMode.WriteSchema);
      }

      // Check Results
      foreach (AssertConfiguration assert in queryTestConfiguration.Asserts)
      {
        assert.AssertThat(dataTable,queryTestConfiguration.BaseDir);
      }
    }

使用了Nunit TestCaseSource attribute，然后其它那些配制的XML，全部通过XML序列化进行读取，具体参看SourceCode.

另一种运行方法是使用MsBuild来实现。我们可以写一个bat文件，这样可以使用自动化命令行执行。事先要下载并Install MSBuild.Community Task。

我们可以看到BIN目录有一个BI.Quality.proj文件，这个是MsBuild使用的。我们需要做一些配制，例如send mail,nunit lib src….具体查阅MSDN MSBuild.

过程是通过MSBuild去执行Nunit，然后生成XML测试结果，通过NUnitReport.xsl转化成html,然后再send mail。

Cmd:

Report:

一切就是那么简单，可以看到MSBUILD的强大。这个使用是SQL SERVER2008 DEMO database  and dw。

有时间会具体写一些关于细节问题，希望对您有帮助。

Author: Petter liu  http://wintersun.cnblogs.com