项目背景
最近忙着给部门开发一套交互式的报表系统,来替换原有的静态报表系统。
老系统是基于dotnetCHARTING开发的,dotnetCHARTING的优势是图表类型丰富,接口调用简单,使用时只需绑定数据源即可(指定连接字符和sql语句,简单的配置一下就能出图),支持生成静态图表图片;缺点就是生成好的图是图片,传到了前台就失去了交互性(当然它还提供了一个jsCharting,不过感觉交互性做的还是不够好),再有就是这东东是收费的呀,用的话需要折腾破解版本。
我最终选择了Highcharts(Interactive JavaScript charts for your webpage)来展现前台图表,通过Highcharts良好的交互性实现与服务端的数据交互,将数据可视化。
dotnetCHARTING在数据加载的设计上做的还是很不错的,我在开发过程中借鉴了其处理思想,自己实现了一套数据加载方案,能够很方便的把数据传给Highcharts。这套数据加载方案,简单的说就是指定好数据库连接信息和sql查询信息,服务端采用ADO.NET执行查询生成DataSet,然后分析DataSet将数据转换为Highcharts能够直接使用的json格式。
报表的处理细节还是蛮多的,这里就不在一一讨论了,如题,接下来重点跟大家分享一下,服务端生成图表图片那部分的处理细节。
Highcharts服务端生成图表图片流程简介
生成图片的数据流向倒是比较简单,如下图所示:
ASP.NET在服务端生成图表图片的方式
根据上述生成图片的步骤,核心其实就是对第二步的处理,也就是如何将SVG数据在服务端做处理,生成图表图片。
这样的话,我们的处理思路就很清晰了,直接在服务端把SVG处理为图片不就可以了,这么想,也就这么做,刚好网上也有人这么弄过,于是也就直接借鉴了其代码,代码不上了,介绍下用到的dll:
在nuget中搜索svg,可以找到一个SVG Rendering Library的包,可以用这个包将SVG格式的数据保存为图片,用法也比较简单,大家可以到其官网查阅使用方法。
这个大家不必自己去实现,因为highcharts官网已经给出了第三方的ASP.NET导出图表的模块(他就是基于这个SVG Rendering Library实现的):
https://github.com/imclem/Highcharts-export-module-asp.net
SVG Rendering Library的问题
在使用SVG Rendering Library服务端生成图表图片的过程中,发现一些问题:
- 生成的图片中文字体模糊发虚,整体图片质量差,跟实际在网页中显示的效果差别还真不小
- 图表上数据点的dataLabel无法显示(一开始以为是highcharts配置的问题,后来鉴定是SVG Rendering Library的问题,这个必须修改svg.dll才能解决)
先看一下图片质量的问题,首先是Chrome中实际展现的图表的截图:
在来一张使用svg.dll在后台生成的图:
对比着两张图,可以和明显的看出生成的图片中汉字发虚(尤其是下面的月份)。正是这个原因,促使我去寻找一个更好的方案来替代SVG Rendering Library,以确保服务端生成图表图片的质量。
心想highcharts在浏览器中的显示效果已经不错了,要不做截图,但是截图的话跟服务端也没关系了呀,突然想到了在服务端渲染截图这么个思路。但是具体怎么做呢?先找找资料吧。
神器PhantomJS华丽登场
第一次接触Phantomjs是半年前左右,当时正在开发web漏洞检测工具,需要执行页面上的js,进行分析,没有经验的我,各处找资料,看到PhantomJS后,心想,这货不是已经有人做过了么,干嘛还重复造车轮子,后来随着业务变更,也没有深入研究它。
这次搜索“服务端,截图”这个关键字的时候,再次看到了PhantomJS,对它的印象不深了,先去官网看看介绍吧,PhantomJS: Headless WebKit with JavaScript API,哦,原来是个可以执行js并集成了webkit的动动,只是没有可视化的部分而已。
PhantomJS能干啥呢?
- HEADLESS WEBSITE TESTING(非可视化的Web测试)
- SCREEN CAPTURE,Programmatically capture web contents, including SVG and Canvas.(截屏啊,支持SVG啊,吼吼,这不正是我想要的么)
- PAGE AUTOMATION(页面自动化,可以使用jQuery操作DOM)
- NETWORK MONITORING(监视页面加载,还可以结合Jenkins做自动化分析,流弊啊!)
对Phantomjs做过一番了解后,就确定用它来处理服务端生成图表图片的问题了。我设计的处理流程如下:
画的很挫,能看明白处理过程就好,接下来分享一下具体处理过程中需要解决的问题。
新方案的处理细节
Highcharts中导出图表的配置
图表的其他配置不需要修改,只需修改导出图片的配置即可,导出的配置如下:
var chart = new Highcharts.Chart({ //... exporting: { url: '/Chart/Export', // 导出图表的服务端处理地址 filename: 'chart_from_phantomjs' // 返回下载的文件名 }, //... });
我们使用Chrome调试一下,看看下载图片的时候,Highcharts都向服务端提交了哪些信息,截图如下:
Highcharts向/Chart/Export发送了一个Post请求,提交的信息如上图所示,在服务端,我们需要根据type来生成不同的图片格式,可以通过svg获取Highcharts提交的图表数据。
ASP.NET中SVG的处理
首先直接将Highcharts传递的SVG数据保存为本地文件,PhantomJS需要通过http://xxx/xxx.svg的形式请求SVG图像,直接请求ASP.NET会以将svg数据以文件的形式返回,因此需要对svg的请求做单独处理。代码如下:
/// <summary> /// 处理Svg文件请求,避免直接返回文件 /// </summary> public class SvgHandler : IHttpHandler { public void ProcessRequest(HttpContext context) { var file = context.Server.MapPath(context.Request.Url.AbsolutePath); if (File.Exists(file)) { context.Response.ContentType = "image/svg+xml"; context.Response.WriteFile(file); } else { context.Response.Write("请求的文件不存在"); } } public bool IsReusable { get { return true; } } }
最后在Web.config中配置一下:
<httpHandlers> <add verb="*" path="*.svg" type="Highcharts.Exporting.Helper.SvgHandler, Highcharts.Exporting, Version=1.0.0.0, Culture=neutral"/> </httpHandlers>
ASP.NET与PhantomJS的交互处理
由于PhantomJS是个独立的进程,这样ASP.NET在与之交互的时候需要让PhantomJS一直运行,不然每次启动一个新的进程开销也比较大。
PhantomJS支持js脚本调用,我们可以通过编写脚本实现PhantomJS以服务的方式长期运行,代码篇幅较长,下面会给出源码。
PhantomJS中通过接收post请求,从请求信息中获取url信息,url就是要渲染的SVG地址,将对应SVG渲染截图,并返回BASE64编码的数据处理,代码如下:
page.open(req.post.url,function(status){ if(status !== "success"){ res.send(status); } else { setTimeout(function() { // 发送渲染后的图片 var pic = page.renderBase64('png'); res.send(pic); }, req.post.timeout || 1000); } });
PhantomJS截图服务脚本:点此下载。启动方法:PhantomJS server.js [port]如不指定端口号,则默认使用8000端口:
ASP.NET对PhantomJS返回的图像数据做处理
ASP.NET需要将PhantomJS返回的BASE64数据反编码,得到PNG图像数据,然后结合需要返回的图片类型做格式转换,并以文件的形式返回给客户端浏览器,核心代码如下:
// 提交SvgUrl到PhantomJS,让其生成图片 WebClient webClient = new WebClient(); NameValueCollection postValues = new NameValueCollection(); postValues.Add("url", siteUrl + svgFile); byte[] data = webClient.UploadValues(phantomJSUrl, postValues); // 从返回的Base64编码中获取图片数据 string imageInfo = Encoding.UTF8.GetString(data); if (!String.IsNullOrEmpty(imageInfo)) { data = Convert.FromBase64String(imageInfo); MemoryStream ms = new MemoryStream(); ms.Write(data, 0, data.Length); image = Image.FromStream(ms); ms.Close(); }
返回Highcharts请求的图片信息:
MemoryStream tStream = new MemoryStream(); var image = ImageHelper.SvgImageFromPhantomJs(tSvg); string tExt = "png"; string tTypeString = "-m image/png"; switch (tType) { case "image/png": tTypeString = "-m image/png"; tExt = "png"; break; case "image/jpeg": tTypeString = "-m image/jpeg"; tExt = "jpg"; break; case "application/pdf": tTypeString = "-m application/pdf"; tExt = "pdf"; break; case "image/svg+xml": tTypeString = "-m image/svg+xml"; tExt = "svg"; break; } if (tTypeString != "") {switch (tExt) { case "jpg": image.Save(tStream, ImageFormat.Jpeg); break; case "png": image.Save(tStream, ImageFormat.Png); break; case "pdf": PdfWriter tWriter = null; Document tDocumentPdf = null; try { image.Save(tStream, ImageFormat.Png); tDocumentPdf = new Document(new Rectangle(image.Width, image.Height)); tDocumentPdf.SetMargins(0.0f, 0.0f, 0.0f, 0.0f); iTextSharp.text.Image tGraph = iTextSharp.text.Image.GetInstance(tStream.ToArray()); tGraph.ScaleToFit(image.Width, image.Height); tStream = new MemoryStream(); tWriter = PdfWriter.GetInstance(tDocumentPdf, tStream); tDocumentPdf.Open(); tDocumentPdf.NewPage(); tDocumentPdf.Add(tGraph); tDocumentPdf.CloseDocument(); } catch (Exception ex) { throw ex; } finally { tDocumentPdf.Close(); tDocumentPdf.Dispose(); tWriter.Close(); tWriter.Dispose(); } break; case "svg": MemoryStream tData = new MemoryStream(Encoding.UTF8.GetBytes(tSvg)); tStream = tData; break; } } return tStream;
最后将tStream的图像数据以文件的形式返回给前台:
[HttpPost] [ValidateInput(false)] public ActionResult Export() { string siteUrl = String.Format("{0}://{1}:{2}/", Request.Url.Scheme, Request.Url.Host, Request.Url.Port); MemoryStream tStream = new MemoryStream(); string tType = Request.Form["type"]; string tSvg = Request.Form["svg"]; string tFileName = Request.Form["filename"]; if (String.IsNullOrEmpty(tFileName)) { tFileName = "chart"; } ChartHelper chartHelper = new ChartHelper(); tStream = chartHelper.GetSvgImageFromPhantomJs(siteUrl, tType, tSvg); return File(tStream.ToArray(), tType, tFileName); }
借助PhantomJS生成的图表图片
来一张效果图,跟原来的对比一下:
可见汉字部分清晰了不少吧。
总结
在服务端使用PhantomJS生成图表图片好处就是能将图像渲染到最佳效果(直接使用WebKit内核渲染),缺点就是速度慢了些。
服务端生成Pdf图表可以使用iTextSharp生成。
附ASP.NET导出Highcharts的源码:点此下载