zoukankan      html  css  js  c++  java
  • OpenCV+TensorFlow实现自定义手写图像识别

    完整版请点击链接:https://mp.weixin.qq.com/s/5gHXGmLbtO7m3dOFrDUiHQ    或微信关注“大数据技术宅”

    用TensorFlow教你做手写字识别(准确率94.09%)文章中,笔者给出了CNN模型的训练以及给出了一些数字图像进行效果测试,这篇文章,笔者将给出自己手写数字图像,并且对图像进行简单处理,用上一篇文章中训练的网络进行手写数字的识别。下边跟着笔者的步伐实现属于自己的数字图像识别。

    工具要求

    工具及环境要求如下,如果大家在安装TensorFlow过程遇到问题,可以咨询笔者一起探讨。

    • Python 2.7.14

    • TensorFlow 1.5

    • pip 10.0.1

    • linux环境

    • openCV 2.4.13.6

    • C++

    数字图像素材准备

    笔者画了两个手写字,如图1所示,读者可以自行绘制自己的手写字图像。

    图1 手绘数字图片

    手绘数字图像预处理

    由于笔者训练的CNN网络的输入图像是28*28像素的,所以需要对手绘数字图像进行简单处理,转换成28*28的灰度图像。图像处理的工具用的是openCV,C++代码如下:

     1#include <opencv2/core/core.hpp>
    2#include <opencv2/highgui/highgui.hpp>
    3#include <opencv2/imgproc/imgproc.hpp>
    4#include "cv.h"  
    5#include <string>
    6#include <stdio.h>
    7using namespace cv;
    8using namespace std;
    9
    10cv::Mat org,dst,img,tmp;
    11void on_mouse(int event,int x,int y,int flags,void *ustc)//event鼠标事件代号,x,y鼠标坐标,flags拖拽和键盘操作的代号
    12{
    13    static Point pre_pt = cv::Point(-1,-1);//初始坐标
    14    static Point cur_pt = cv::Point(-1,-1);//实时坐标
    15    char temp[16];
    16    if (event == CV_EVENT_LBUTTONDOWN)//左键按下,读取初始坐标,并在图像上该点处划圆
    17    {
    18        org.copyTo(img);//将原始图片复制到img中
    19        sprintf(temp,"(%d,%d)",x,y);
    20        pre_pt = Point(x,y);
    21        putText(img,temp,pre_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255),1,8);//在窗口上显示坐标
    22        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);//划圆
    23        imshow("img",img);
    24    }
    25    else if (event == CV_EVENT_MOUSEMOVE && !(flags & CV_EVENT_FLAG_LBUTTON))//左键没有按下的情况下鼠标移动的处理函数
    26    {
    27        img.copyTo(tmp);//将img复制到临时图像tmp上,用于显示实时坐标
    28        sprintf(temp,"(%d,%d)",x,y);
    29        cur_pt = Point(x,y);
    30        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));//只是实时显示鼠标移动的坐标
    31        imshow("img",tmp);
    32    }
    33    else if (event == CV_EVENT_MOUSEMOVE && (flags & CV_EVENT_FLAG_LBUTTON))//左键按下时,鼠标移动,则在图像上划矩形
    34    {
    35        img.copyTo(tmp);
    36        sprintf(temp,"(%d,%d)",x,y);
    37        cur_pt = Point(x,y);
    38        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
    39        rectangle(tmp,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//在临时图像上实时显示鼠标拖动时形成的矩形
    40        imshow("img",tmp);
    41    }
    42    else if (event == CV_EVENT_LBUTTONUP)//左键松开,将在图像上划矩形
    43    {
    44        org.copyTo(img);
    45        sprintf(temp,"(%d,%d)",x,y);
    46        cur_pt = Point(x,y);
    47        putText(img,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
    48        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);
    49        rectangle(img,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//根据初始点和结束点,将矩形画到img上
    50        imshow("img",img);
    51        img.copyTo(tmp);
    52        //截取矩形包围的图像,并保存到dst中
    53        int width = abs(pre_pt.x - cur_pt.x);
    54        int height = abs(pre_pt.y - cur_pt.y);
    55        if (width == 0 || height == 0)
    56        {
    57            printf("width == 0 || height == 0");
    58            return;
    59        }
    60        dst = org(Rect(min(cur_pt.x,pre_pt.x),min(cur_pt.y,pre_pt.y),width,height));
    61        Mat dst02;
    62        cv::resize(dst,dst02,Size(28,28));
    63
    64        imwrite("/home/openCV/mnist/temp.png",dst02);//注意将这里改为自己的处理结果存储地址
    65        namedWindow("dst02");
    66        imshow("dst02",dst02);
    67        waitKey(0);
    68    }
    69}
    70int main()
    71{
    72    org = imread("/home/openCV/mnist/ceshi8.jpg");//读取图片地址
    73    org.copyTo(img);
    74    org.copyTo(tmp);
    75    namedWindow("img");//定义一个img窗口
    76    setMouseCallback("img",on_mouse,0);//调用回调函数
    77    imshow("img",img);
    78    cv::waitKey(0);
    79}

    C++代码需要先编译,再运行,运行过程中如果遇到什么问题,欢迎读者跟笔者沟通,处理完之后图像如图2所示:

    图2 预处理后手写图像

    调用CNN网络对图像进行识别

    用上一篇文章(用TensorFlow教你做手写字识别(准确率94.09%))部分,测试模型的代码,对处理过的手写图像进行识别,识别结果如图3所示:

    图3 手写数字是被结果

    通过笔者两篇手写数字识别文章的学习,相信动手尝试的读者已经对图像识别的流程有了简单的了解,在后续的图像识别系列文章中笔者会更加深入的介绍图像识别。图像识别的接下来两篇文章中笔者会用一篇讲解Faster R-CNN的原理,另一篇介绍Faster R-CNN的应用,并附上模型代码,预计要达到的效果如图4所示:

    图4 图像识别效果

    最后,笔者说一些题外话,本公众号运营到维护已经有近两个月时间,由于是笔者利用周末和业余时间所写,所以更新会比较缓慢,但笔者可以保证每周至少有一篇原创分享,并且保证本公众号不会存在任何商业行为,完全出于笔者爱好。希望想从事大数据及人工智能相关工作的读者与笔者互动交流,一块进步。

    持续更新ing

  • 相关阅读:
    java版扫雷
    隔离级别
    Servlet Analysis
    Session&Cookie
    centos上部署应用到tomcat
    在CentOS 7中安装与配置Tomcat-8.5方法
    centos7中安装、配置jdk(转载)
    java RE Validation常用
    hello2 source Analysis
    serlvet中的过滤器filter
  • 原文地址:https://www.cnblogs.com/followees/p/10422791.html
Copyright © 2011-2022 走看看