linux上配置boost手记

题记：一些应用中需要用到正则表达式，有的时候正则表达式中含有汉字。这时候就要用到支持unicode的正则，python是个不错的选择。但是如果代码是用C++写的，仅为了正则功能就system调用python得不偿失，而且会影响到效率。考虑到之前有在windows上成果调用boost正则的经历，所以想迁移到linux上，没有想到的是一波三折。最后成功。

1. boost的安装：

请参考

http://blog.csdn.net/wcjy07220114/article/details/7088005

重点摘录

安装boost之前最好安装python-dev icu bzip2 机子上没有在安装

现在可以安装boost了，首先要编译生成boost安装工具bjam
进入boost目录执行：
./bootstrap.sh
然后执行刚生成的
./bjam -s
HAVE_ICU=1
编译开始，大约半小时，全部编译结束。
./bjam
install --prefix=/usr
将当前目录下编译好的头文件安装到相应位置：在/usr/include下有头文件夹boost，在/usr/lib下有boost的库

与其不同的是，我所有的库都安装在了/usr/local下面。

2. 测试代码

// please add your code here!
#include <iostream>
#include <stdlib.h>
#include <math.h>
#include<time.h>
#include <set>
#include <string>
#include <sys/time.h>
#include<locale.h>
#include<boost/regex.hpp>
#include </usr/local/include/iconv.h> 
#include <errno.h>
using namespace std;

/*
   funcname:
   spec:
   parms:[IN]
         [IN]
         [OUT]
   returnValue:
   author liuyu, 20120528
*/
void PrintUsage()
{
    fprintf( stderr, "prog [IN]hzpylist_file [IN]input_file [OUT]output_file [OUT]errdmp_file\n" );
}
/*
void PrintError(char error_text[])
{
    fprintf(stderr,"liuyusi0121 lib run-time error...\n");     
    fprintf(stderr,"%s\n",error_text);
    fprintf(stderr,"...now exiting to system...\n");
    exit(1);                     

}
*/
//add your code here

wstring String2Wstring(string sToMatch)  {     
    setlocale( LC_CTYPE, "" ); // 很重要，没有这一句，转换会失败。   
    int iWLen = mbstowcs( NULL, sToMatch.c_str(), sToMatch.length() ); // 计算转换后宽字符串的长度。（不包含字符串结束符）   
    wchar_t *lpwsz = new wchar_t[iWLen + 1];  
    int i = mbstowcs( lpwsz, sToMatch.c_str(), sToMatch.length() ); // 转换。（转换后的字符串有结束符）   
    wstring wsToMatch(lpwsz);  
    delete []lpwsz;  
    return wsToMatch;  
}  
//把宽字符串转换成字符串，输出使用   
string Wstring2String(wstring sToMatch)  
{     
    int iLen = wcstombs( NULL, sToMatch.c_str(), 0 ); // 计算转换后字符串的长度。（不包含字符串结束符）   
    char *lpsz = new char[iLen + 1];  
    int i = wcstombs( lpsz, sToMatch.c_str(), iLen ); // 转换。（没有结束符）   
    lpsz[iLen] = '\0';  
    string sResult(lpsz);  
    delete []lpsz;  
    return sResult;  
}
int toUnicode(const char *toCode,const char *fromCode,char *srcstr, char *deststr, size_t srclen,size_t &destlen)
{
    iconv_t convertor=iconv_open(toCode,fromCode);
    size_t inputsize;
    size_t outputsize;
    size_t oldoutputsize;
    char *input, *inputold;
    char *output=NULL;
    char *outputold=NULL;
    int flag=0;
    if(convertor==iconv_t(-1))
    {
        fprintf(stderr,"convertor device initailization failed!\n");
        return 1;
    }
    else
    {
        inputsize=srclen;
        input=new char[inputsize+1];
        memcpy(input,srcstr,inputsize);
        input[inputsize]='\0';
        inputold=input;
        outputsize=inputsize*10;
        oldoutputsize=outputsize;
        output=new char[outputsize];
        memset(output,0,outputsize);
        outputold=output;
        size_t rc = iconv(convertor,&input,&inputsize,&output,&outputsize);
        if(rc==0)
        {
           memcpy(deststr,outputold,oldoutputsize-outputsize);
           destlen=oldoutputsize-outputsize;
           flag=1;
        }
        delete []inputold;
        delete []outputold;

    }
    iconv_close(convertor);
    if(flag==1)
    {
        return 0;
    }
    else
    {
        return 1;
    }

}
int main( int argc, char *argv[] )
{
    timeval tv1, tv2;
    gettimeofday(&tv1, NULL); 
    if ( 1!= argc )
    {
        PrintUsage();

        return 1;
    }
/*    
    char *s1="刘.*?";
    char *s2="刘禹，刘德华，刘佳佳。。。王大虎。。。" ;
    char buf[5000]={0};
    wchar_t *wchartemp[5000]={0};
    size_t s1_len=strlen(s1);
    size_t s2_len=strlen(s2);
    size_t s3_len=0;
    char d1[5000]={0};
    char d2[5000]={0};
    char d3[5000]={0};
    size_t d1_len;
    size_t d2_len;
    size_t d3_len;
    toUnicode("UCS-4//IGNORE","GBK",s1,d1,s1_len,d1_len);
    toUnicode("UCS-4//IGNORE","GBK",s2,d2,s2_len,d2_len);
    wchar_t *m1=(wchar_t *)d1;
    fprintf(stdout,"%d\n",wcslen(m1));
    wstring p1=wstring(m1);
    fprintf(stdout,"%d\n",p1.size());
    wchar_t *m2=(wchar_t *)d2;
    fprintf(stdout,"%d\n",wcslen(m2));
    wstring wtext=wstring(m2);
    
    std::wstring::const_iterator  it=wtext.begin();
    std::wstring::const_iterator  end=wtext.end();
    std::wstring::const_iterator  it1=p1.begin();
    std::wstring::const_iterator  end1=p1.end();
    fprintf(stdout,"%d\n",wtext.size());
    wcout<<p1<<endl;
    wcout<<wtext<<endl;

    boost::wregex wreg(p1,boost::regbase::icase);
    boost::wsmatch wm;
    vector<string> results;
    while(boost::regex_search(it,end,wm,wreg))
    {
        wstring wtemp=wm[0];
        memcpy(wchartemp,wtemp.c_str(),wtemp.size());
        char *temp=(char *) wchartemp;
        toUnicode("GBK//IGNORE","UCS-4",temp,buf,wtemp.size()*4,d3_len);
        string str(temp);
        results.push_back(str);
        it=wm[0].second;
    }
    for(vector<string>::iterator it=results.begin();it!=results.end();it++)
    {
        printf("%s\n",(*it).c_str());
    }
    
    for(int i=0;i<d1_len;i++)
    {
        fprintf(stdout,"%2x\t",d1[i]);
    }
    putchar('\n');
    for(int i=0;i<d2_len;i++)
    {
        fprintf(stdout,"%2x\t",d2[i]);
    }
    putchar('\n');
    toUnicode("GBK//IGNORE","UCS-4",d1,d3,d1_len,s1_len);
    for(int i=0;i<s1_len;i++)
    {
        fprintf(stdout,"%2x\t",d3[i]);
    }
    fprintf(stdout,"%d\n",s1_len);
    putchar('\n');
*/    
  
    
    string s="刘禹,刘德华,刘佳佳。。。王大虎。。。刘长春,xixi";
    string t="刘[^刘]*?,";
    wstring p=String2Wstring(t);
    wstring ws=String2Wstring(s);
    cout<<p.size()<<endl;
    cout<<ws.size()<<endl;
    boost::wregex wreg(p,boost::regbase::icase|boost::regex::perl);
    boost::wsmatch wm;
    vector<string> results;
    wstring::const_iterator  it=ws.begin();
    wstring::const_iterator  end=ws.end();
    while(boost::regex_search(it,end,wm,wreg))
    {
        wstring wtemp=wm[0];
        string temp=Wstring2String(wtemp);
        results.push_back(temp);
        it=wm[0].second;
    }
    fprintf(stdout,"输出正则匹配结果\n");
    for(vector<string>::iterator it=results.begin();it!=results.end();it++)
    {
        printf("%s\n",(*it).c_str());
    }
    
    gettimeofday(&tv2, NULL);
    fprintf(stderr,"%s has finished congratulations!\n",argv[0]);
    fprintf( stderr,"time elapsed: %.2f ms\n", (float)((tv2.tv_sec - tv1.tv_sec)*1000000+(tv2.tv_usec-tv1.tv_usec))/1000);
    return 0;
    
}

编译 g++ -g GetsSource.cpp /home/liuyu/MyTars/boost_1_53_0/libs/regex/src/*.cpp -o m -liconv

注意：编译的时候要链接boost源码，否则boost正则的功能函数像regex_search,regex_match等有段错误。

运行 ./m

结果liuyu: ~/Weibo/Corpora$ ./m
8
27
输出正则匹配结果
刘禹,
刘德华,
刘长春,

 注意： 我机器上的编码是GBK的，g++ 编译的时候源码文件默认是utf-8的，所以写正则模式串的时候如果直接写wstring p=L"刘.*?"等会编译不通过。建议采用我代码中的写法。