zoukankan      html  css  js  c++  java
  • CSV文件格式分析器执行:从字符串Split至FSM

      本文乃Siliphen原创,转载请注明出处:http://blog.csdn.net/stevenkylelee/article/details/38309147

     

      本文分为5小节,基本上就是我刚接触CSV文件到思考、实践做一个CSV解析器的过程的还原。

    希望我的思路也能带领你一步步从浅到深认识CSV文件格式。

     

      1.简单的CSV解析器实现。

      2.简单实现的CSV解析器的问题

      3. CSV格式的定义

      4.用FSM(有限状态机)来做CSV格式解析。

      5.为什么使用CSV格式

     

      1.简单的CSV解析器实现。

     

      近期有一个需求,读取CSV格式的配置。

    CSV是CommaSeparated Value(逗号分隔值)的缩写,通经常使用文本表示数据。

    CSV格式数据的结构类似表格。不同的记录占用一行,一行中的字段用“,”(逗号)分隔,比如:

     

      名字,职业,工作经验(年),

      Siliphen Lee,软件project师(码畜),5

      Edison Chou,游戏server端主程,1

      Deson,钢琴教师兼游戏策划,1

      … …

     

      咋一看,CSV格式比較简单。

    就是用行来分隔不同的记录。记录中用“,”逗号分隔不同的字段域。不过这样考虑的话,那么编写CSV解析器也非常easy了。

    就是字符串的切割而已。

     

      好。以下来动手实现下这个思路。C#等语言的字符串都有Split函数,C++的标准库却连这个非经常常使用的函数都没,C++的标准库简直是弱爆了。而就算用了boost,由于boost接近std的风格,类似Split功能的函数,使用起来也比較麻烦。

     

      没办法,仅仅好自己编写Split来实现CSV的解析了。

    对于CSV的解析功能。为了实现“组件化”,“复用”的理想,能够单独写一个Csv类,封装一些相关操作。以后在别的project项目中,也能够直接把这个类拿过去用。

     

      CSV类。三下五除二。就编写好了。代码例如以下:


      头文件

    #pragma once
    
    #include <vector>
    #include <string>
    using namespace  std;
    
    class Csv
    {
    public:
    	Csv();
    	~Csv();
    
    public:
    
    	// 加载一个CSV文件
    	void Load(const string& strFileName);
    
    	// 从字符串从解析
    	void Parse(const string&  strText);
    
    public :
    
    	/*
    		切割字符串
    		str 要分隔的字符串
    		seperator 分隔符
    		Ret 切割后的结果
    	*/
    	static void Split(const string &str, const string& seperator, vector< string >& Ret);
    
    	/*
    		读取整个文件的数据
    	*/
    	static void ReadAll(const string& strFileName , string& Data );
    
    public :
    
    	vector< vector< string > >& GetGridData(){ return m_GridData; }
    
    private : 
    
    	// 原始表格数据
    	vector< vector< string > > m_GridData;
    
    };

      实现文件:
    #include "Csv.h"
    #include <stdio.h>
    
    Csv::Csv()
    {
    }
    
    Csv::~Csv()
    {
    }
    
    void Csv::ReadAll(const string& strFileName, string& Data)
    {
    	// 读取文件数据
    	FILE* pFile = fopen(strFileName.c_str(), "rb");
    	if (pFile == 0)
    	{
    		return;
    	}
    
    	fseek(pFile, 0, SEEK_END);
    	long len = ftell(pFile);
    
    	char *pBuffer = new char[len + 1];
    
    	fseek(pFile, 0, SEEK_SET);
    	fread(pBuffer, 1, len, pFile);
    	fclose(pFile);
    
    	pBuffer[len] = 0;
    	Data.assign(pBuffer, len );
    
    	delete[] pBuffer;
    
    }
    
    void Csv::Load(const string& strFileName)
    {
    	string Data; 
    	ReadAll(strFileName, Data); 
    	Parse(Data );
    }
    
    void Csv::Parse(const string& strText)
    {
    	// 清除之前的数据
    	m_GridData.clear();
    
    	// 分出行,分出字段。

    vector< string > ret; Split(strText, " ", ret); for (size_t i = 0; i < ret.size(); ++i) { vector< string > Fields; Split(ret[i], ",", Fields); m_GridData.push_back(Fields); } } void Csv::Split(const string &str, const string& seperator, vector< string >& Ret) { Ret.clear(); size_t nStartPosFound = str.find(seperator, 0); size_t nFieldStart = 0; for (; nStartPosFound != -1; nStartPosFound = str.find(seperator, nStartPosFound)) { string strSub = str.substr(nFieldStart, nStartPosFound - nFieldStart); nStartPosFound = nStartPosFound + seperator.size(); nFieldStart = nStartPosFound; Ret.push_back(strSub); } // 增加最后一个字段 if (nFieldStart < str.size()) { string strSub = str.substr(nFieldStart, str.size() - nFieldStart); Ret.push_back(strSub); } }


      对代码做一些简要说明。设计Csv类首先考虑的就是“独立性”。

    Csv类不应该耦合(依赖)不论什么其它库,比方说:尽量避免使用Cocos2d-x。QT里面的函数。

    Cocos2d-x有跨平台的文件读取方法。QT有字符串的split函数。假设用了这些库的现成机制,会导致类的通用性下降。比方,在还有一个非Cocos2d-x,非QT的项目中,就不能直接用了。

     

      相同地,从可移植性考虑。用VS编写读取文件,也不应该使用CreateFile, ReadFile等Win32 Api。fopen尽管不太好用,但因为其是C语言标准库的,移植性好,故用之。

     

      这里有一个问题须要注意下,用VS2013编辑和编译的话,可能会对fopen函数提示有错误。

    例如以下:




      这句英文大概是说:“fopen函数或者变量可能是不安全的。考虑使用fopen_s替代。要屏蔽这个错误,请使用_CRT_SECURE_NO_WARNINGS。


      _CRT_SECURE_NO_WARNINGS如何用呢?简单,在“项目属性 -> 配置属性 -> C/C++ -> 命令行 -> 其它选择”上,加入“/D _CRT_SECURE_NO_WARNING”。例如以下图:




      加入完后,又一次编译。这样。我们的简单的CSV解析器就写好了。执行调试一下,看看是否执行正确




      OK,没问题。

    解析的结果,我们放在一个vector< vector< string > > 类型的数据结构中。

    这个数据结构比較灵活,能够模拟表示一个表格。

    实际上,vector< vector< string > > 也能够表示可动态调整大小的二维数组。


      2.简单实现的CSV解析器的问题


      之前用字符串处理方法split做的CSV解析器有问题吗?对于简单的数据,没问题。但细致想下就会发现,字段之间用“,”英文逗号分隔。假设字段数据本身包括了逗号,怎么办?我们用Excel做下实验。看看Excel导出的CSV格式表格是如何的。

     

      实验结果例如以下:



      从以上结果能够看到。对于包括了“,”字段分隔符的字段,是用“”””双引號把这个字段包围起来。

    但假设字段数据本身也包括了“””引號,又怎么办呢?继续做实验。例如以下图




      实验发现,假设字段数据本身存在“””引號。那么引號的前面也会放一个引號,前置的引號相当于C语言的字符串的转义字符。

     

      假设用一个字段表示一篇文章,有分段换行。那又是一个什么情况?做实验看看,实验结果例如以下:




      复制一段文章或者是有段落的一段文本,然后粘贴到Excel的一个字段中,最后Excel另存为CSV格式文件。

    用记事本打开那个CSV格式文件。发现用记事本看不到换行,这是什么情况?用UltraEdit查看下二进制数据




      发现,回车换行(/r/n),会被Excel替换成/n换行。

    而用记事本程序打开是看不到/n换行效果的。

     

      假设用记事本程序编辑CSV文件。敲入回车换行(/r/n),然后用Excel打开,会如何?例如以下图:




      能够看到用记事本程序编辑CSV文件,人工按下回车键。会键入回车换行(/r/n)数据。用Excel打开的话,也显示了分行的效果。

     

      做了一些实验得出的结论是:CSV一个字段的数据是能够表示存在“,”字段分隔符的。

    假设有逗号字段分隔符存在,那么整个字段就会用双引號包围起来。假设字段数据本身有引號,那么会在之前放一个前置的引號表示转义,而且该字段也会用双引號包围起来。

    用双引號包围起来的字段数据里面。也能够有回车换行数据。

     

      这样。问题来了。我们用回车换行来切割出行,再用逗号切割出一行中不同的字段。

    这样的简单的方法无法区分一个逗号是字段本身的数据,还是用来作为字段分隔符的。也无法区分一个回车换行。是字段里面的数据,还是用来分隔行的。


      3. CSV格式的定义


      上面是用Excel另存为CSV文件格式做实验来摸索CSV格式和一些显示特性。

    事实上CSV是有格式规范的。

     

      关于CSV格式的定义,能够參考这里: 一篇百度文档的CSV格式定义 ,IETF上的CSV格式定义的文档


      4.用FSM(有限状态机)来做CSV格式解析。


      了解CSV格式的定义后。我们知道。要写一个完好的CSV解析器,不能简单地用字符串的Split方法了。

     

      我们的目标是:写一个CSV类,能正确解析Excel导出的不论什么CSV文件!或许有人会觉得。用正則表達式能够搞定。

    用正则有几个问题。第一,C++的正則表達式通常都依赖于一些第三方库,QT。Boost等。C++11的正则也不是在全部的编译器上都实现了,这非常大地影响了我们的CSV类通用性。第二,对于语法格式分析,正则不是万能的。至少文章作者本人是非常难写出能解析CSV的正则。

     

      这里介绍一个非常强大的方法:FSM(Finite State Machine有限状态机)。我第一次接触FSM是在罗森(KennethH.Rosen)著的《离散数学及其应用》。

    关于FSM的概念,能够百度下,看看百度百科的解释。

    也能够看看维基百科的解释:http://zh.wikipedia.org/wiki/%E6%9C%89%E9%99%90%E7%8A%B6%E6%80%81%E6%9C%BA

     

      FSM的应用非常广。电路、游戏开发和编译原理等都会涉及。这里,我们就使用FSM来做CSV的解析。使用FSM通常是先画状态图,然后编码实现,调试,改动,重复这个过程。我画的CSV解析FSM状态图例如以下:




      从上图。能够看到FSM还能够做语法检查。实际上《编译原理》中的词法分析的扫描器。通常就是基于FSM。这个FSM要解析Excel导出的不论什么CSV格式文件应该是足够了。为了简化实现。不考虑一些语法容错。

     

      因为代码较多。

    我就不贴完整实现代码了。

    用我们之前实现的简单Csv类来改。就是砍掉Split函数,然后,重写Parse函数。


      大概步骤是:


      先定义状态


    	// 定义状态
    	enum StateType
    	{
    		// 新字段開始
    		NewFieldStart ,
    
    		// 非引號字段
    		NonQuotesField ,
    
    		// 引號字段
    		QuotesField ,
    
    		// 字段分隔
    		FieldSeparator ,
    
    		// 引號字段中的引號
    		QuoteInQuotesField ,
    
    		// 行分隔符字符1,回车
    		RowSeparator ,
    
    		// 语法错误
    		Error ,
    	};
    
    


      然后。写一个for循环,从头到尾遍历CSV文件数据,把遍历到的字符“喂给”FSM。FSM用一个Switch-Case语句实现。遍历结束后。再推断下状态。做一些对应处理。

    算法截图例如以下:




      做下測试,读取效果怎样。

    先用Excel构造一个复杂的表格,字段里面包括“, 半角逗号”,““ 引號”。“ 回车换行符”。例如以下所看到的:




      导出CSV文件。用Csv类读一下。结果例如以下图:




      OK。

    大功告成!一个相对完好的Csv类完毕了!

    我们但是用编译原理涉及的技术搞定的哦,赞!

     

      我的Csv类完整实现(包含整个VSproject和測试CSV文件)能够在这里下载到:http://download.csdn.net/detail/stevenkylelee/7697315

     

      假设发现我的类读取Excel导出的CSV文件有什么bug。请联系我。

    我改!

    :)


      5.为什么使用CSV格式


      我思考一段时间,总结的理由有例如以下几点:


      1.CSV文件格式占用空间比較小,是文本文件。

      2.CSV文件能够用记事本打开。编辑改动方便。同一时候也能够用Excel打开。

      3.游戏项目中,策划通常喜欢用Excel做数值和配置。Excel能够直接另存为CSV文件。

      4.配置也能够用xml。Excel相同能够导出xml文件格式。xml不错。但C++的标准库没有xml的读取方法。通常C++项目读xml须要依赖第三方库。比如:TinyXml之类的。




    版权声明:本文博客原创文章,博客,未经同意,不得转载。

  • 相关阅读:
    Jmeter22:同步定时器-集合点功能
    Jmeter21:固定定时器-死等的方法
    Jmeter20:上传与下载
    Jmeter19:token接口
    Jmeter18:cookie接口-请求提示no cookie的解决方法
    Jmeter17:json提取器-提取数据的方法
    Jmeter16:forEach控制器-针对,在不知道取到得参数有多少?但是要全部执行每一条的情况
    Jmeter15:仅一次控制器-针对在每个并发用户都要调用一次的情况
    Jmeter14:随机顺序执行器-每个请求都执行,当是顺序打乱的情况
    Jmeter13:常用的逻辑控制器-if-随机-仅一次-switch...
  • 原文地址:https://www.cnblogs.com/mfrbuaa/p/4658871.html
Copyright © 2011-2022 走看看