编写词法分析器

词法分析器功能

输入源程序、输出单词符号（其表示形式为：（单词种别，单词自身的值）

预处理：删除注释，删除续换行符，换行符，TAB和空格

词法分析器的设计

（1）给出程序设计语言的单词规范——单词表

单词符号	种别编码
标识符	0
main	1
int	2
If	3
else	4
while	5
do	6
<	7
>	8
!=	9
>=	10
<=	11
==	12
,	13
;	14
(	15
)	16
{	17
}	18
+	19
-	20
*	21
/	22
=	23
常数（数）	24

（2）对照单词表设计识别该单词所有单词的状态转换图

状态转换图实质上是程序流程图，每个状态结对应一小段程序。

程序思路：

（1）预处理：去掉程序中的空格和注释

（2）取出字符进行单词符号的识别并进行相应的处理

（3）输出词法分析结果

（3）根据状态转换图编写词法分析器

#include<iostream>
#include<stdio.h>
#include<string.h>
using namespace std;

int keyNum[6]= {1,2,3,4,5,6};//存储关键字的种别编码
string key[6]= {"main","int","if","else","while","do"}; //存储关键字数组 
int symbolNum[17]= {7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23};//存储运算符和界符的种别码 
string symbol[17]= {"<",">","!=",">=","<=","==",",",";","(",")","{","}","+","-","*","/","="};//存储运算符和界符数组 
string letter[1000];//存储从文件中取出的字符
string words[1000];//将字符转换为单词
int length; //程序中字符的数目
int num;//当前遍历到的字符下标 

int isSymbol(string s)  //判断运算符和界符
{
    int i;
    for(i=0; i<17; i++)
    {
        if(s==symbol[i])
            return symbolNum[i];
    }
    return 0;
}

bool isNum(string s)//判断是否为数字
{
    if(s>="0" && s<="9")
        return true;
    return false;
}

bool isLetter(string s)//判断是否为字母
{
    if(s>="a" && s<="z")
        return true;
    return false;
}

int isKeyWord(string s)//判断是否为关键字,是返回种别码
{
    int i;
    for(i=0; i<6; i++)
    {
        if(s==key[i])
            return keyNum[i];
    }
    return 0;
}

int typeword(string str)//返回单个字符的类型
{
    if(str>="a" && str<="z") // 字母
        return 1;

    if(str>="0" && str<="9") //数字
        return 2;

    if(str==">"||str=="="||str=="<"||str=="!"||str==","||str==";"||str=="("||str==")"||str=="{"||str=="}"||str=="+"||str=="-"||str=="*"||str=="/") //判断运算符和界符
        return 3;
}

string identifier(string s,int n) //连接标识符
{
    int j=n+1;
    int flag=1;

    while(flag)
    {
        if(isNum(letter[j]) || isLetter(letter[j]))
        {
            s=(s+letter[j]).c_str();
            if(isKeyWord(s))
            {
                j++;
                num=j;
                return s;
            }
            j++;
        }
        else//运算符等操作符
        {
            flag=0;
        }
    }

    num=j;
    return s;
}

string symbolStr(string s,int n) //连接符号与界符
{
    int j=n+1;
    string str=letter[j];
    if(str==">"||str=="="||str=="<"||str=="!")
    {
        s=(s+letter[j]).c_str();
        j++;
    }
    num=j;
    return s;
}

string Number(string s,int n)//连接数字 
{
    int j=n+1;
    int flag=1;

    while(flag)
    {
        if(isNum(letter[j]))
        {
            s=(s+letter[j]).c_str();
            j++;
        }
        else
        {
            flag=0;
        }
    }

    num=j;
    return s;
}

void print(string s,int n)
{
    cout<<"("<<s<<","<<n<<")"<<endl;
}

void TakeWord()  //对letter数组中的字符进行分析 
{
    int k;

    for(num=0; num<length;)
    {
        string str1,str;
        str=letter[num];
        k=typeword(str);//分析字符的类型 
        switch(k)
        {
        case 1: //表明该字符为字母 
        {
            str1=identifier(str,num);
            if(isKeyWord(str1))//输出关键字 
                print(str1,isKeyWord(str1));
            else //输出标识符 
                print(str1,0);
            break;
        }
        case 2://表明该字符为数字
        {
            str1=Number(str,num);
            print(str1,24);//输出常数 
            break;
        }

        case 3://表明该字符为运算符和界符
        {
            str1=symbolStr(str,num);
            print(str1,isSymbol(str1));//输出运算符和界符 
            break;
        }
        }
    }
}

int main()
{
    freopen("E:\input.txt","r",stdin);
    freopen("E:\output.txt","w",stdout); 
    int i,j,flag=0;
    char w,front,aa=' ';//aa存前一个的'/' 
    length=0;
    while(cin>>w)//预处理：去掉程序中的空格和注释 
    {
        if((w=='/')&&(front=='/')){ //注释//开始判断条件
            flag=1;
        }
        else if((w=='*')&&(front=='/')){ //注释/*开始判断条件
            flag=2;
        }
        else if((flag==1)&&(w=='
')){ //注释//结束判断条件 
        //cout<<"------------"<<endl;
            flag=0;
        }
        else if((flag==2)&&(w=='/')){ //注释/*结束判断条件
        //cout<<"------------"<<endl;
            flag=0;
        }
        else if((w!=' ')&&(flag==0))
        {
            int outflag=0;
            if(aa=='/'){ //表示'/'并不是注释的组成部分，则输出存的前一个'/' 
                letter[length]=w;
                length++;
                aa=' ';
                outflag=1;
            }
            if(w=='/') aa=w;
            else{
                if(outflag==0)//前面没输出 
                {
                    letter[length]=w;
                    length++;
                }
            }
        } 
        front=w;
    }
    //
    TakeWord();//从letter数组中取出字符进行分析

    fclose(stdin);//关闭文件
    fclose(stdout);
    return 0;
}

（4）结果

输入程序：

/*compare a and b then output the poccess result*/
int main()
{
    int a,b;
    a=5;
    b=4;
    if(a>=b)
    {
        a=a-b;
    }
    else
    {
        a=a+b;
    }
}

 输出的词法分析结果：