决策树ID3算法[分类算法]

ID3分类算法的编码实现

<?php
/*
*决策树ID3算法（分类算法的实现）
*/



/*

*求信息增益Grain(S1,S2)

*/

//--------------------------------------------------------------------
function Grain($train,$attriname,$flagsyes,$flagsno)
{
    $attributename =  array(NULL);//用来存放属性$attriname不同的属性值
    array_splice($attributename,0,1);
    
    for($i=1;$i<count($train[0]);$i++)
    {
        if($attriname==$train[0][$i])
        {
            $num = $i;//记录$train第几个属性是$attriname
            for($j=1;$j<count($train);$j++)
            {
                $flags = true;//用于判断将要存放的属性值是否已经存在
                for($k=0;$k<count($attributename);$k++)
                {
                    if($attributename[$k]==$train[$j][$i])//即将存入的属性值已经存在
                    {
                        $flags = false;
                        break;
                    }        
                }
                if($flags)//新的属性值不存在,$attributename存入新的属性值
                {
                    array_push($attributename,$train[$j][$i]);
                }
            }
            break;
        }
    }
    
    for($i=0;$i<count($attributename);$i++)
    {
        $count[$i][0] = $attributename[$i];//属性名称
        $count[$i][1] = 0;//用来统计$attributename[$i] $flagsyes的个数
        $count[$i][2] = 0;//用来统计$attributename[$i] $flagsno的个数    
    }
    
    for($i=1;$i<count($train);$i++)
    {
        for($j=0;$j<count($attributename);$j++)
        {
            //print_r($train[$i][count($train[$i])-1]."<br>");
            if(($train[$i][$num]==$attributename[$j])&&($train[$i][count($train[$i])-1]==$flagsyes))
            {
                $count[$j][1]++;
            }else if(($train[$i][$num]==$attributename[$j])&&($train[$i][count($train[$i])-1]==$flagsno)){
                $count[$j][2]++;
            }
        }
    }
    
    $num_yes = 0;//类别为$flagsyes的个数
    $num_no = 0;//类别为$flagsno的个数
    for($i=1;$i<count($train);$i++)
    {
        if($train[$i][count($train[$i])-1]==$flagsyes)
        {
            $num_yes++;
        }else {
            $num_no++;
        }
    }

    //分类所需要的 信息量
    $I=0;
    $s[0] = $num_yes;
    $s[1] = $num_no ;
    for($i=0;$i<2;$i++)
    {
        if($s[$i]!=0)$I += -$s[$i] / ($num_yes+$num_no) * log($s[$i]/($num_yes+$num_no)) / log(2);
    }
    
    $EA = 0 ;
    for($i=0;$i<count($count);$i++)
    {
        $si = 0;
        for($j=1;$j<count($count[$i]);$j++)
        {
            if($count[$i][$j]!=0)$si += -$count[$i][$j] / ($count[$i][1]+$count[$i][2]) * log($count[$i][$j]/($count[$i][1]+$count[$i][2])) / log(2);
        }
        $EA += ($count[$i][1]+$count[$i][2])/($num_yes+$num_no) * $si;
    }
    
    //信息增益Gain
    $Gain = $I - $EA;
    return $Gain;
}
//--------------------------------------------------------------------

/*

*求几个属性信息增益最大的那一个

*/

//--------------------------------------------------------------------
function Attributelist($train,$flagsyes,$flagsno)
{
    $array_attribute_grain = array(array(NULL,NULL));//存放属性值以及属性值对应的信息增益
    for($i=1;$i<count($train[0])-1;$i++)
    {
        $array_attribute_grain[$i-1][0] = $train[0][$i];
        $array_attribute_grain[$i-1][1] = Grain($train,$train[0][$i],$flagsyes,$flagsno);
    }
    
    for($i=1;$i<count($array_attribute_grain);$i++)
    {
        if($array_attribute_grain[$i][1]>$array_attribute_grain[0][1])
        {
            $array_attribute_grain[0][0] = $array_attribute_grain[$i][0];
            $array_attribute_grain[0][1] = $array_attribute_grain[$i][1];    
        }
        
    }
/*    
    echo "<pre>";
    print_r($array_attribute_grain[0]);
    echo "<pre>";
*/
    return $array_attribute_grain[0];
}
//--------------------------------------------------------------------

/*

*构建ID3决策树(数组存储)

*/

//--------------------------------------------------------------------
function DecisionTree($train,$flagsyes,$flagsno,&$array_tree)
{
    $flags = true;
/*
*if所有样本均为同一类别C，返回N作为一个椰子结点并标志为C类别
*/
    $num_yes = 0;//用于统计同一$flagsyes类别的数目
    $num_no = 0;//用于统计同一$flagsno类别的数目
    for($i=1;$i<count($train);$i++)
    {
        if($train[$i][count($train[$i])-1]==$flagsyes) $num_yes++;
        else if($train[$i][count($train[$i])-1]==$flagsno) $num_no++;
    }

    
    if($num_yes==(count($train)-1))//所有样本均为同一类别
    {
        array_push($array_tree,array($flagsyes));
        $count++;
        $flags = false;
    }else if($num_no==(count($train)-1)){
        array_push($array_tree,array($flagsno));
        $count++;
        $flags = false;
    }
    

/*

*else if attribute /为空,则返回n作为一个叶子节点，并标记为该节点所含样本中类别最多的类别
    
*/
    if($flags)
    {
        $num_attribute = count($train)-2;
        if($num_attribute==0)
        {
            if($num_yes>$num_no)
            {
                array_push($array_tree,array($flagsyes));
                $count++;
                $flags = false;
            }else {
                 array_push($array_tree,array($flagsno));
                 $count++;
                 $flags = false;
            }
            
        }
    }
/*

*从样本中选择分类能力最好的的属性
 
*/
    if($flags)
    {
        $attribute = Attributelist($train,$flagsyes,$flagsno);

        $attribute_name = array(NULL);
        array_splice($attribute_name,0,1);
        for($i=1;$i<count($train[0])-1;$i++)
        {
            if($train[0][$i]==$attribute[0])
            {
                $num = $i;
                break;
            }
        }
        for($i=1;$i<count($train);$i++)
        {
            $flags2 = true;
            for($j=0;$j<count($attribute_name);$j++)
            {
                if($train[$i][$num]==$attribute_name[$j])
                {
                    $flags2 = false;
                    break;
                }    
            }
            if($flags2)array_push($attribute_name,$train[$i][$num]);
        }
        //print_r($attribute_name);
        $array_new = array(NULL);
        array_splice($array_new,0,1);
        for($i=0;$i<count($attribute_name);$i++)
        {
            $arraybranch = array(array());
            array_splice($arraybranch,0,1);
            $arraytemp = array(NULL);
            array_splice($arraytemp,0,1);
            array_push($arraybranch,$train[0]);
            for($j=1;$j<count($train);$j++)
            {
                if($train[$j][$num]==$attribute_name[$i])
                {
                    array_push($arraybranch,$train[$j]);
                }
            }
            for($j=0;$j<count($arraybranch);$j++)
            {
                array_splice($arraybranch[$j],$num,1);
            }
            array_push($array_new,$arraybranch);    
            $num_branch_yes = 0;
            $num_branch_no =0;
            for($j=1;$j<count($arraybranch);$j++)
            {
                if($arraybranch[$j][count($arraybranch[$j])-1]==$flagsyes) $num_branch_yes++;
                else $num_branch_no++;
            }
            if($num_branch_yes==count($arraybranch)-1)array_push($array_tree,array($attribute[0],$attribute_name[$i],$flagsyes));
            else if($num_branch_no==count($arraybranch)-1)array_push($array_tree,array($attribute[0],$attribute_name[$i],$flagsno));
            else {
                $temp = Attributelist($arraybranch,$flagsyes,$flagsno);
                array_push($array_tree,array($attribute[0],$attribute_name[$i],$temp[0]));
                DecisionTree($arraybranch,$flagsyes,$flagsno,$array_tree,$count);
            }
            
        }    
    }
/*
    echo "<pre>";
    print_r($array_tree);
    echo "<pre>";
    //print_r("<br>".$count);
*/
    return $array_tree;
    
}
//--------------------------------------------------------------------

/*

*判断一个测试样本的类别

*/
//--------------------------------------------------------------------
function ID3_Judge($test,$co,$decisiontree,$flagsyes,$flagsno)
{
    //找寻根节点
    $boot = $decisiontree[0][0];
    for($i=1;$i<count($test[0])-1;$i++)
    {
        if($boot==$test[0][$i])
        {
            $num = $i;
            break;
        }
    }
    for($i=0;$i<count($decisiontree);$i++)
    {
        if(($decisiontree[$i][0]==$boot)&&($decisiontree[$i][1]==$test[$co][$num]))
        {
            if($decisiontree[$i][2]==$flagsyes)
            {
                $result =  $flagsyes;
            }else if($decisiontree[$i][2]==$flagsno){
                $result =  $flagsno;
            }else{
                $attributename = $decisiontree[$i][2];
                $mid = $i;
            }
        }
    }
    while($attributename!=NULL)
    {
        $boot = $attributename;
        for($i=1;$i<count($test[0])-1;$i++)
        {
            if($boot==$test[0][$i])
            {
                $num = $i;
                break;
            }
        }
        
        for($i=$mid;$i<count($decisiontree);$i++)
        {
            if(($decisiontree[$i][0]==$boot)&&($decisiontree[$i][1]==$test[$co][$num]))
            {
                if($decisiontree[$i][2]==$flagsyes)
                {
                    $attributename = NULL;
                    $result =  $flagsyes;
                }else if($decisiontree[$i][2]==$flagsno){
                    $attributename = NULL;
                    $result =  $flagsno;
                }else{
                    $attributename = $decisiontree[$i][2];
                    $mid = $i;
                }
            }
        }
    }
    return $result;
}
//--------------------------------------------------------------------

/*
*把.txt中的内容读到数组中保存
*$filename:文件名称
*/

//--------------------------------------------------------------------
function gerFileContent($filename)
{
    $array = array(NULL);
    $content = file_get_contents($filename);
    $result = explode("
",$content);
    
    for($j=0;$j<count($result);$j++)
    {
        $con = explode(" ",$result[$j]);
        array_push($array,$con);
    }
    array_splice($array,0,1);
    return $array;
}
//--------------------------------------------------------------------
$train = gerFileContent("train.txt");
$test = gerFileContent("test.txt");

$array_tree = array(array(NULL,NULL,NULL));
array_splice($array_tree,0,1);
$decisiontree = DecisionTree($train,Y,N,$array_tree);

for($i=1;$i<count($test);$i++)
{
    $test[$i][count($test[0])-1] = ID3_Judge($test,$i,$decisiontree,Y,N);
}

/*

*将数组中的内容读到.txt中

*/
//--------------------------------------------------------------------
$fp= fopen('result.txt','wb');
for($i=0;$i<count($test);$i++)
{
    $temp = NULL;
    for($j=0;$j<count($test[$i]);$j++)
    {
        $temp =  $test[$i][$j]."	";
        fwrite($fp,$temp);
    }
    fwrite($fp,"
");
}
fclose($fp);
//--------------------------------------------------------------------

/*
*打印输出决策树
*/
//--------------------------------------------------------------------
echo "<pre>";
print_r($decisiontree);
echo "<pre>";
//--------------------------------------------------------------------

/*
*打印输出
*/
//--------------------------------------------------------------------
echo "<pre>";
print_r($test);
echo "</pre>";
//--------------------------------------------------------------------
?>