- 手写数字识别实现
设计技术参数：通过由数字构成的图像，自动实现几个不同数字的识别，设计识别方法，有较高的识别率
关键字：二值化 投影 矩阵 目标定位 Matlab
手写数字图像识别简介：
手写阿拉伯数字识别是图像内容识别中较为简单的一个应用领域，原因有被识别的模式数较少（只有0到9，10个阿拉伯数字）、阿拉伯数字笔画少并且简单等。手写阿拉伯数字的识别采用的方法相对于人脸识别、汉字识别等应用领域来说可以采用更为灵活的方法，例如基于规则的方法、基于有限状态自动机的方法、基于统计的方法和基于神经网络的方法等。本文的开始部分先对手写阿拉伯数字识别的整个处理流程进行论述，而这个流程也可以用于图像中其他模式的识别。当然这个处理流程也不是唯一的，可以根据不同的模式识别应用场景进行与之不同的预处理流程。
手写数字图像识别的主要流程：
第一步：对源图像进行黑白二值化处理；0数字的二值化（左）和1的二值化处理（右）
第二步：将图像在水平方向上和竖直方向上进行投影，这样通过投影图形就可以区分1和0的特征；
第三步：用投影计算出区域的横纵坐标，将其分为九份。定位出数字所在图像中的位置，提取该部分进行分析。
第四步：数字0和1的特征比较与识别
在0和一的比较中发现，在分成的九个区域的中间区域，0中间区域灰度为0，1中间区域灰度为1。
- 人工神经网络
人类之所以能够思考，学习，判断，大部分都要归功于人脑中复杂的神经网络。虽然现在人脑的机理还没有完全破译，但是人脑中神经元之间的连接，信息的传递都已为人所知晓。于是人们就想能否模拟人脑的功能用于解决其他问题，这就发展出人工神经网络。
人工神经网络（artificial neural network，缩写ANN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。
神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
- samples
- 识别流程
流程如图，首先要对数据进行处理，这个主要是批量读取图片和特征提取的过程，特征提取的方法很多，这里只挑选最简单的来实现，然后是训练出一个神经网络的模型，最后用测试数据进行测试。为了方便，这里的神经网络的创建，训练和测试采用Matlab函数来实现。
- 构造标签
要构造出适合神经网络的标签，在这个例子中有10个类，若为某个标签，那么这个位置的值为1，其余为0。
- Matlab实现代码
数字特征提取部分
featureextract.m
|
% featureextract 数字特征提取部分 clear; clc; % global定义全局变量P T,by:chen global P T;
I = imread('0.bmp'); % 读入数字图片，为个人用画图板制作的图片 p(1,:)=inputvar(I); % inputvar(x)函数为特征提取函数,对第一个0样本的图片进行特征提取
%I = imread('00.bmp'); I = imread('cccc0.bmp'); p(2,:)=inputvar(I); % 读入第二个关于字符0的样本
I = imread('000.bmp'); p(3,:)=inputvar(I);
I = imread('0000.bmp'); p(4,:)=inputvar(I);
I = imread('1.bmp'); p(5,:)=inputvar(I);
%I = imread('11.bmp'); I = imread('cc15.bmp'); p(6,:)=inputvar(I);
I = imread('111.bmp'); p(7,:)=inputvar(I);
I = imread('1111.bmp'); p(8,:)=inputvar(I);
I = imread('2.bmp'); p(9,:)=inputvar(I);
I = imread('22.bmp'); p(10,:)=inputvar(I);
%I = imread('222.bmp'); I = imread('cccc2.bmp'); p(11,:)=inputvar(I);
I = imread('2222.bmp'); p(12,:)=inputvar(I);
%I = imread('3.bmp'); I = imread('cccc3.bmp'); p(13,:)=inputvar(I);
I = imread('33.bmp'); p(14,:)=inputvar(I);
I = imread('333.bmp'); p(15,:)=inputvar(I);
I = imread('3333.bmp'); p(16,:)=inputvar(I);
I = imread('4.bmp'); %I = imread('cc444.bmp'); p(17,:)=inputvar(I);
I = imread('44.bmp'); p(18,:)=inputvar(I);
I = imread('444.bmp'); p(19,:)=inputvar(I);
%I = imread('4444.bmp'); I = imread('cc444.bmp'); p(20,:)=inputvar(I);
%I = imread('5.bmp'); I = imread('cccc5.bmp'); p(21,:)=inputvar(I);
I = imread('55.bmp'); p(22,:)=inputvar(I);
I = imread('555.bmp'); p(23,:)=inputvar(I);
I = imread('5555.bmp'); p(24,:)=inputvar(I);
I = imread('6.bmp'); p(25,:)=inputvar(I);
I = imread('66.bmp'); p(26,:)=inputvar(I);
I = imread('666.bmp'); p(27,:)=inputvar(I);
I = imread('6666.bmp'); p(28,:)=inputvar(I);
I = imread('7.bmp'); p(29,:)=inputvar(I);
I = imread('77.bmp'); p(30,:)=inputvar(I);
I = imread('777.bmp'); p(31,:)=inputvar(I);
I = imread('7777.bmp'); p(32,:)=inputvar(I);
I = imread('8.bmp'); p(33,:)=inputvar(I);
I = imread('88.bmp'); p(34,:)=inputvar(I);
I = imread('888.bmp'); p(35,:)=inputvar(I);
I = imread('8888.bmp'); p(36,:)=inputvar(I);
I = imread('9.bmp'); p(37,:)=inputvar(I);
I = imread('99.bmp'); p(38,:)=inputvar(I);
I = imread('999.bmp'); p(39,:)=inputvar(I);
I = imread('9999.bmp'); p(40,:)=inputvar(I);
I = imread('test0.bmp'); p(41,:)=inputvar(I);
I = imread('test00.bmp'); p(42,:)=inputvar(I);
I = imread('test1.bmp'); p(43,:)=inputvar(I);
I = imread('test11.bmp'); p(44,:)=inputvar(I);
I = imread('test2.bmp'); p(45,:)=inputvar(I);
I = imread('test22.bmp'); p(46,:)=inputvar(I);
I = imread('test3.bmp'); p(47,:)=inputvar(I);
I = imread('test33.bmp'); p(48,:)=inputvar(I);
I = imread('test4.bmp'); p(49,:)=inputvar(I);
I = imread('test44.bmp'); p(50,:)=inputvar(I);
I = imread('test5.bmp'); p(51,:)=inputvar(I);
I = imread('test55.bmp'); p(52,:)=inputvar(I);
I = imread('test6.bmp'); p(53,:)=inputvar(I);
I = imread('test7.bmp'); p(54,:)=inputvar(I);
I = imread('test8.bmp'); p(55,:)=inputvar(I);
I = imread('test9.bmp'); p(56,:)=inputvar(I);
P = p; % 输入的训练与测试样本集 T = [0 0 0 0; 0 0 0 0; 0 0 0 0; 0 0 0 0; 0 0 0 1; 0 0 0 1; 0 0 0 1; 0 0 0 1; 0 0 1 0; 0 0 1 0; 0 0 1 0; 0 0 1 0; 0 0 1 1; 0 0 1 1; 0 0 1 1; 0 0 1 1; 0 1 0 0; 0 1 0 0; 0 1 0 0; 0 1 0 0; 0 1 0 1; 0 1 0 1; 0 1 0 1; 0 1 0 1; 0 1 1 0; 0 1 1 0; 0 1 1 0; 0 1 1 0; 0 1 1 1; 0 1 1 1; 0 1 1 1; 0 1 1 1; 1 0 0 0; 1 0 0 0; 1 0 0 0; 1 0 0 0; 1 0 0 1; 1 0 0 1; 1 0 0 1; 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 1 0 0 1 1 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 1 0 1 1 0 0 1 1 1 1 0 0 0 1 0 0 1]; % 输出的训练与测试样本 ttest = [0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1 0 1 1 0 0 1 1 1 1 0 0 0 1 0 0 1]; % 1至9数字的标准输出
P = P'; T = T'; ttest = ttest'; save featureextractPTttest % 保存特征提取后的输入输出样本数据,生成mat文件以便训练与测试时对样本数据的调用
|
特征提取
% inputvar 特征提取
|
function y=inputvar(I) % inputvar 特征提取 b = find(I>130);%I：读入的待辨认的数字图片，find(I>130)：找出I中大于130的坐标，返回的是线性索引 I(b) = 1;%将图像中大于130的地方置1 % 对数字图片进行二值化处理，读入的图片形式简单以致于二值化方法简单 % 图像预处理部分
[m,n] = size(I);%获取图片的尺寸,m=16,n=8 p = zeros(1,17);%产生一个1*17的零向量 for k=1:4 for i=1+(k-1)*4:m/4+(k-1)*4 for j=1:n/2 if I(i,j)==0 p(k) = p(k)+1; else p(k) = p(k); end end for j=n/2+1:n if I(i,j)==0 p(k+4) = p(k+4)+1; else p(k+4) = p(k+4); end end end end % 把图片分成八个独立区域计算各自的图象密度,作为部分特征向量 p(9) = p(1)+p(2); p(10) = p(3)+p(4); p(11) = p(5)+p(6); p(12) = p(7)+p(8); p(13) = p(1)+p(5); p(14) = p(2)+p(6); p(15) = p(3)+p(7); p(16) = p(4)+p(8); p(17) = p(9)+p(10)+p(11)+p(12); y = p/128; % 合并区域的图像密度作为其他部分特征向量
|
网络训练与仿真部分
网络训练与仿真部分
|
% bpnntrain 网络训练与仿真部分 clear clc
%load featureextract; load('D:featureextract'); % 调用输入输出样本数据 P_train = P(:,1:40); %P_train：训练样本集合 T_train = T(:,1:40); P_test = P(:,40:56); T_test = T(:,40:56);
echo on net=newff(minmax(P_train),[9 4],{'tansig','tansig','tansig'},'trainlm'); %newff:建立一个BP网络 %minmax(P_train):对神经网络输入的最大最小值的限制 %[9 4]:神经网络的层结构 %{'tansig','tansig','tansig'}:神经网络各层转移函数 %'trainlm':训练函数 % 利用工具箱建立前向BP网络,输入输出隐层的传递函数均为S型的正切函数,使用Levenberg-Marquard算法进行训练 % 隐层设置9个神经元，4个神经元输出 net = init(net); % 网络初始化 [m1,n1]=size(net.IW{1,1}); net.IW{1,1}=0.3*ones(m1,n1); % 初始化当前输入层权值 [m2,n2]=size(net.LW{2,1}); net.LW{2,1}=0.3*ones(m2,n2); % 初始化隐层与输出层的连接权值 net.trainParam.show=100; %显示的间隔次数 net.trainParam.lr=0.01; %网络学习速率 net.trainParam.mc=0.9; %动量因子 net.trainParam.epochs=1000; %最大训练次数 net.trainParam.goal=0.001;%性能目标值 % 设置训练参数 [net,tr] = train(net,P_train,T_train); % 静态批处理方式进行网络训练，net：更新了权值的神经网络，tr：训练次数和每次训练的误差 fig = plotperf(tr)
Y = sim(net,P_train); % 对训练后的网络进行仿真 E = T_train-Y; perf=mse(E) % 计算仿真误差 echo off
save bpnntrainnetfig
|
网络测试与检测部分
|
% nnceshi 网络测试与检测部分 function result = TestDigit( img ) %UNTITLED Summary of this function goes here % Detailed explanation goes here
% global定义全局变量P T,by:chen global P T; % 数字特征提取 %load featureextract; load('D:featureextract');
% 网络训练与仿真部分 %load bpnntrain net; load('D:pnntrain');
% P_test：测试样本的特征向量 P_test = P(:,40:56); T_test = T(:,40:56);
% 对训练后的网络进行测试，net：训练完成了的网络，P_test：测试样本的特征向量，Y：神经网络的输出 % 仿真 Y = sim(net,P_test);
E = T_test-Y;
% 计算测试误差,暂时注释掉====== by:chenqp %perf=mse(E) perf=mse(E); % 读入待辨认的数字图片，检测网络 I = imread(img); % 调用特征提取函数提取数据特征 ptest = inputvar(I);
ptest = ptest'; Y = sim(net,ptest); D = round(Y);%对Y取整 Num = 8*D(1,1)+4*D(2,1)+2*D(3,1)+D(4,1); % 暂时注释掉ttest======= by:chenqp % ttest = ttest(:,Num+1) ttest = ttest(:,Num+1); E = ttest-abs(Y); %均方误差 perf=mse(E); result = Num;
end
|
封装成C#可以调用的DLL
C#调用代码实现
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
|
using System;using System.Collections.Generic;using QpSolution;using MathWorks.MATLAB.NET.Arrays;using MathWorks.MATLAB.NET.Utility;namespace TestMatlab{ class Program { static void Main(string[] args) { // 直接使用Math.Pow计算x的y次方 List<double> x = new List<double>(); List<double> y = new List<double>(); List<double> z1 = new List<double>(); List<double> z2 = new List<double>(); Random random = new Random(); for (int i = 0; i < 1000000; i++) { x.Add(random.Next(1000) * random.NextDouble()); y.Add(random.Next(1000) * random.NextDouble()); } DateTime a = DateTime.Now; for (int i = 0; i < x.Count; i++) { z1.Add(Math.Pow(x[i], y[i])); } DateTime b = DateTime.Now; // 直接使用Math.Pow计算x的y次方,第一次运算花费时间ms Console.WriteLine((b - a).TotalMilliseconds); a = DateTime.Now; for (int i = 0; i < x.Count; i++) { z2.Add(Math.Pow(x[i], y[i])); } b = DateTime.Now; // 直接使用Math.Pow计算x的y次方,第二次运算花费时间ms Console.WriteLine((b - a).TotalMilliseconds); a = DateTime.Now; TestClass tc1 = new TestClass(); var z3 = tc1.TestFun((MWNumericArray)x.ToArray(), (MWNumericArray)y.ToArray()).ToArray(); b = DateTime.Now; Console.WriteLine((b - a).TotalMilliseconds); a = DateTime.Now; TestClass tc2 = new TestClass(); var z4 = tc2.TestFun((MWNumericArray)x.ToArray(), (MWNumericArray)y.ToArray()).ToArray(); b = DateTime.Now; Console.WriteLine((b - a).TotalMilliseconds); // MWArray是数据类型的一个父类,下面包括了很多数据类 MWNumericArray mw1 = new MWNumericArray(MWArrayComplexity.Real, 1); mw1[1] = 2; MWNumericArray mw2 = new MWNumericArray(MWArrayComplexity.Real, 1); mw2[1] = 3; var z5 = tc1.TestFun(mw1, mw2); Console.WriteLine(z5); // 8 // 传入字符串 MWCharArray str = "D:\test7.bmp"; var z6 = tc1.TestChar(str); Console.WriteLine(z6); // 测试传入的文件是否存在,并拿到Matlab返回值 MWCharArray file = "D:\test7.bmp"; var z7 = tc1.TestFileExist(file); Console.WriteLine(z7); // 测试人工神经网络识别手写数字，返回matlab函数识别结果 MWCharArray img1 = "D:\testPic\c2.bmp"; Console.WriteLine("开始识别第1个图片...."); var pic1 = tc1.TestDigit(img1); Console.WriteLine("第1个图片识别结果为:" + pic1); MWCharArray img2 = "D:\testPic\cccc0.bmp"; Console.WriteLine("开始识别第2个图片...."); var pic2 = tc1.TestDigit(img2); Console.WriteLine("第2个图片识别结果为:" + pic2); MWCharArray img3 = "D:\testPic\cccc2.bmp"; Console.WriteLine("开始识别第3个图片...."); var pic3 = tc1.TestDigit(img3); Console.WriteLine("第3个图片识别结果为:" + pic3); MWCharArray img4 = "D:\testPic\cccc3.bmp"; Console.WriteLine("开始识别第4个图片...."); var pic4 = tc1.TestDigit(img4); Console.WriteLine("第4个图片识别结果为:" + pic4); MWCharArray img5 = "D:\testPic\cccc5.bmp"; Console.WriteLine("开始识别第5个图片...."); var pic5 = tc1.TestDigit(img5); Console.WriteLine("第5个图片识别结果为:" + pic5); MWCharArray img6 = "D:\testPic\abc7.bmp"; Console.WriteLine("开始识别第6个图片...."); var pic6 = tc1.TestDigit(img6); Console.WriteLine("第6个图片识别结果为:" + pic6); MWCharArray img7 = "D:\testPic\abc8.bmp"; Console.WriteLine("开始识别第7个图片...."); var pic7 = tc1.TestDigit(img7); Console.WriteLine("第7个图片识别结果为:" + pic7); Console.Read(); } }} |
运行结果
