基于C#的机器学习--微基准测试和激活功能

本章我们将学习以下内容:

l  什么是微基准测试

l  如何将它应用到代码中

l  什么是激活函数

l  如何绘制和基准测试激活函数

每个开发人员都需要有一个好的基准测试工具。质量基准无处不在;你们每天都能听到，这个减少了10%那个增加了25%还记得那句老话吗，当你听到一个数字被抛出时，98.4%的情况下这个数字是假的。顺便说一下，这个数字也是我编的。当你听到这样的话，让那个人证明一下，你会得到什么?我们不需要定性的结果;我们需要能够被证明和持续复制的量化结果。可重复的结果是非常重要的，不仅对一致性，而且对可信度和准确性。这就是微基准测试发挥作用的地方。

我们将使用BenchmarkDotNet库，您可以在这里找到:https://github.com/dotnet/BenchmarkDotNet。我认为它是您可以使用的最不可替代的框架之一，我认为它的重要性不亚于单元测试和集成测试

为了展示这个工具的价值，我们将绘制几个激活函数并比较它们的运行时。作为其中的一部分，我们将考虑预热、遗留和RyuJIT、冷启动以及程序执行的更多方面。最后，我们会得到一组定量的结果来证明函数的精确度量。如果在2.0版本中，我们看到某些东西运行得比较慢，我们可以重新运行基准并进行比较。

我强烈建议将其集成到您的持续集成/持续构建过程中，以便在每个版本中都可以比较基准数据。

在本章中，我们将有两个样本。第一个是激活函数查看器;它将绘制每个激活函数，以便我们可以看到它的外观。可以在Colin Green的SharpNEAT中找到它，它是开源的。这个包绝对是不可思议的。我在它的基础上创建了新的ui以及高级版本来满足我的需求，它是目前能找到的最灵活的工具。第一个示例应用程序带有最新的SharpNEAT包，可以在https://github.com/colgreen/sharpneat找到它。

使用视觉绘图方法

下面是一个局部和全局最小值的图，它是由SharpNEAT的自定义版本绘制的。

如前所述，我们将绘制并测试几个激活函数。我们到处都听到激活函数这个词，但我们真的知道它的意思吗?让我们从一个快速的解释开始。

一个激活函数用来决定一个神经元是否被激活。有些人喜欢用fired来代替activated。不管怎样，它最终决定了某个东西是开还是关，是被触发还是没有，是被激活还是没有。

.让我们首先看一个单个激活函数的图:

这是逻辑陡峭近似和Swish激活函数单独绘制时的样子，因为有很多类型的激活函数，这是我们所有的激活函数一起绘制时的样子:

在这一点上，你可能会想，我们为什么还要关心情节是什么样的呢?好问题。我们关心这些，因为一旦你进入神经网络或其他领域，你会经常用到这些。这是非常方便的，能够知道你的激活函数是否将你的神经元的值在开或关的状态，以及它将保持或需要的值在什么范围内。毫无疑问，你将在作为机器学习开发人员的职业生涯中遇到和/或使用激活函数，了解TanH和LeakyReLU激活函数之间的区别非常重要。

绘制所有函数

所有激活函数的绘图都是在一个函数内完成的，这个函数名为PlotAllFunctions:

private void PlotAllFunctions()
{
    // 首先，从母版窗格中清除所有旧的GraphPane
    collection MasterPane master = zed.MasterPane;
    master.PaneList.Clear();
    // 显示母版窗格标题，并设置
    outer margin to 10 points
    master.Title.IsVisible = true;
    master.Margin.All = 10;
    // 在主窗格上绘制多个函数.
    PlotOnMasterPane(Functions.LogisticApproximantSteep,"Logistic Steep (Approximant)");
    PlotOnMasterPane(Functions.LogisticFunctionSteep,"Logistic Steep (Function)");
    PlotOnMasterPane(Functions.SoftSign, "Soft Sign");
    PlotOnMasterPane(Functions.PolynomialApproximant,"Polynomial Approximant");
    PlotOnMasterPane(Functions.QuadraticSigmoid,"Quadratic Sigmoid");
    PlotOnMasterPane(Functions.ReLU, "ReLU");
    PlotOnMasterPane(Functions.LeakyReLU, "Leaky ReLU");
    PlotOnMasterPane(Functions.LeakyReLUShifted,"Leaky ReLU (Shifted)");
    PlotOnMasterPane(Functions.SReLU, "S-Shaped ReLU");
    PlotOnMasterPane(Functions.SReLUShifted,"S-Shaped ReLU (Shifted)");
    PlotOnMasterPane(Functions.ArcTan, "ArcTan");
    PlotOnMasterPane(Functions.TanH, "TanH");
    PlotOnMasterPane(Functions.ArcSinH, "ArcSinH");
    PlotOnMasterPane(Functions.ScaledELU,"Scaled Exponential Linear Unit");
    // 重新设置GraphPanes的轴范围。
    zed.AxisChange();
    // 使用默认窗格布局布局GraphPanes.
    using (Graphics g = this.CreateGraphics())
    {
        master.SetLayout(g, PaneLayout.SquareColPreferred);
    } 

主绘制函数

在后台，Plot函数负责执行和绘制每个函数:

private void Plot(Func<double, double> fn, string fnName,Color graphColor, GraphPane gpane = null)
{
    const double xmin = -2.0;
    const double xmax = 2.0;
    const int resolution = 2000;
    zed.IsShowPointValues = true;
    zed.PointValueFormat = "e";
    var pane = gpane ?? zed.GraphPane;
    pane.XAxis.MajorGrid.IsVisible = true;
    pane.YAxis.MajorGrid.IsVisible = true;
    pane.Title.Text = fnName;
    pane.YAxis.Title.Text = string.Empty;
    pane.XAxis.Title.Text = string.Empty;
    double[] xarr = new double[resolution];
    double[] yarr = new double[resolution];
    double incr = (xmax - xmin) / resolution;
    double x = xmin;
    for(int i=0; i < resolution; i++, x+=incr)
    {
        xarr[i] = x;
        yarr[i] = fn(x);
    }
    PointPairList list1 = new PointPairList(xarr, yarr);
    LineItem li=pane.AddCurve(string.Empty,list1,graphColor,SymbolType.None);
    li.Symbol.Fill = new Fill(Color.White);
    pane.Chart.Fill = new Fill(Color.White,
    Color.LightGoldenrodYellow, 45.0F);
}

这是执行我们传入的激活函数的地方，它的值用于y轴标绘值。著名的ZedGraph开源绘图包用于所有图形绘制。一旦执行了每个函数，就会生成相应的图。

确定基准点

BenchmarkDotNet生成了几个报告，其中一个是HTML报告，类似于在这里看到的:

Excel报告提供了运行程序时使用的每个参数的详细信息，是最广泛的信息来源。在很多情况下，这些参数中的大多数都使用默认值，超出了我们的需要，但至少我们可以选择删除我们需要删除的内容:

我们将在下一节中描述其中的一些参数，当我们回顾创建之前看到的内容的源代码时:

static void Main(string[] args)
{
    var config = ManualConfig.Create(DefaultConfig.Instance);
    // 建立一个结果导出器。
    // 请注意。默认情况下，结果文件将位于.BenchmarkDotNet.Artifactsresults目录
    config.Add(new CsvExporter
　　　　　　　　　　(CsvSeparator.CurrentCulture,
　　　　　　　　　  new BenchmarkDotNet.Reports.SummaryStyle
　　　　　　　　 　　{
    　　　　　　　　　　PrintUnitsInHeader = true,
    　　　　　　　　　　PrintUnitsInContent = false,
    　　　　　　　　　　TimeUnit = TimeUnit.Microsecond,
    　　　　　　　　　　SizeUnit = BenchmarkDotNet.Columns.SizeUnit.KB
　　　　　　　　 　　}
　　　　　　　　　　)
　　);
    // 遗留JITter 测试.
    config.Add(new Job(EnvMode.LegacyJitX64,EnvMode.Clr, RunMode.Short)
    　　{
        　　Env = { Runtime = Runtime.Clr, Platform = Platform.X64 },
        　　Run = { LaunchCount = 1, WarmupCount = 1,
        　　TargetCount = 1, RunStrategy =
　　　　　　　BenchmarkDotNet.Engines.RunStrategy.Throughput },
　　　　　　　Accuracy = { RemoveOutliers = true }
　　　　}.WithGcAllowVeryLargeObjects(true)
　　);
　　// RyuJIT测试。
　　config.Add(new Job(EnvMode.RyuJitX64, EnvMode.Clr,RunMode.Short)
　　　　{
　　　　　　Env = { Runtime = Runtime.Clr, Platform = Platform.X64 },
　　　　　　Run = { LaunchCount = 1, WarmupCount = 1,
　　　　　　TargetCount = 1, RunStrategy =
　　　　　　BenchmarkDotNet.Engines.RunStrategy.Throughput },
　　　　　　Accuracy = { RemoveOutliers = true }
　　　　}.WithGcAllowVeryLargeObjects(true)
　　);
　　// 取消注释以允许对未优化的程序集进行基准测试。
　　//config.Add(JitOptimizationsValidator.DontFailOnError);
　　// 运行基准测试。
　　var summary = BenchmarkRunner.Run<FunctionBenchmarks>(config);
}

让我们进一步分析这段代码:

首先，我们将创建一个手动配置对象，其中包含用于基准测试的配置参数:

var config = ManualConfig.Create(DefaultConfig.Instance);

接下来，我们将设置一个导出器来保存用于导出结果的参数。我们将使用微秒计时和千字节大小将结果导出到.csv文件:

config.Add(new CsvExporter
　　　　　　　　(CsvSeparator.CurrentCulture,
　　　　　　　　 new BenchmarkDotNet.Reports.SummaryStyle
　　　　　　　　 {
　　　　　　　　　　 PrintUnitsInHeader = true,
　　　　　　　　　　 PrintUnitsInContent = false,
　　　　　　　　　　 TimeUnit = TimeUnit.Microsecond,
　　　　　　　　　　 SizeUnit = BenchmarkDotNet.Columns.SizeUnit.KB
　　　　　　　　 }
　　　　　　　　)
);

接下来，我们将创建一个基准作业，它将处理x64体系结构上LegacyJitX64的度量。您可以随意更改此参数和任何其他参数，以进行实验，或者包含测试场景所需或需要的任何结果。在我们的例子中，我们将使用x64平台;启动计数、预热计数和目标计数为1;以及吞吐量的运行策略。我们也会对RyuJIT做同样的事情，但是我们不会在这里显示代码:

config.Add(new Job(EnvMode.LegacyJitX64, EnvMode.Clr,RunMode.Short)
　　　　　　 {
　　　　　　 　 Env = { Runtime = Runtime.Clr, Platform = Platform.X64 },
　　　　　　　　Run = { LaunchCount = 1, WarmupCount = 1, TargetCount = 1,
　　　　　　　　RunStrategy = Throughput },
　　　　　　　　Accuracy = { RemoveOutliers = true }
　　　　　　}.WithGcAllowVeryLargeObjects(true)
);

最后，我们将运行BenchmarkRunner来执行我们的测试:

var summary = BenchmarkRunner.Run<FunctionBenchmarks>(config);

BenchmarkDotNet将作为DOS命令行应用程序运行，下面是执行上述代码的一个例子:

让我们来看一个被绘制的激活函数的例子:

[Benchmark]
public double LogisticFunctionSteepDouble()
{
　　double a = 0.0;
　　for(int i=0; i<__loops; i++)
　　{
　　　　a = Functions.LogisticFunctionSteep(_x[i % _x.Length]);
　　}
　　return a;
}

此处使用了[Benchmark]属性。这向BenchmarkDotNet表明，这将是一个需要进行基准测试的测试。在内部调用如下函数:

对于logisticfunction陡峭函数，其实现与大多数激活函数一样简单(假设你知道公式)。在这种情况下不是绘制激活函数，而是对其进行基准测试。

你将注意到函数接受并返回double。我们也通过使用和返回浮点变量对相同的函数进行基准测试，因此我们使用double对函数之间的差异进行基准测试和浮动。因此，人们可以看到，有时性能影响比他们想象的要大:

总结

在本章中，我们学习了如何将微基准测试应用到代码中。我们还了解了如何绘制和基准测试激活函数，以及如何使用微基准测试。现在，您有了一个最强大的基准测试库，可以将其添加到所有代码中。在下一章中，我们将深入探讨直观的深度学习，并向您展示c#开发人员可以使用的最强大的机器学习测试框架之一。