[Xcode 实际操作]七、文件与数据-(20)CoreML机器学习框架：检测和识别图片中的物体

目录：[Swift]Xcode实际操作

本文将演示机器学习框架的使用，实现对图片中物体的检测和识别。

首先访问苹果开发者网站关于机器学习的网址：

https://developer.apple.com/cn/machine-learning/

点击右侧的滚动条，跳转到模型知识区域。

点击页面最下方的【Learn about working with models】进入机器学习模型页面：

https://developer.apple.com/cn/machine-learning/build-run-models/

点击右侧的垂直滚动条，跳转到模型下载区域。

苹果提供了多个已经完成训练的机器学习模型，

选择【ResNet 50】：从 1000 种类别对象 (如树木、动物、食物、汽车及人物等) 中检测出图像中的主体。

点击下方的【Core】进行下载，https://docs-assets.developer.apple.com/coreml/models/Resnet50.mlmodel

模型下载后将模型拖动到项目中【DemoApp】

在弹出的选项设置窗口中，保持默认的参数设置，然后点击完成【Finish】按钮，确认模型的导入。

在左侧的模型框架区，选择查看模型文件。

从右侧的属性面板可以看出模型的类型、体积、作者、版权声明、描述信息。

从底部的参数可以看出，该模型拥有一个输入参数，和两个输出参数。

在资源文件中导入一张鸟类的图片，将使用机器学习迅雷模型，检测图片中出现的鸟类的名称。

在项目导航区，打开视图控制器的代码文件【ViewController.swift】

import UIKit
//导入机器学习框架
import CoreML

class ViewController: UIViewController {
    
    override func viewDidLoad() {
        super.viewDidLoad()
        // Do any additional setup after loading the view, typically from a nib.
        
        //加载项目中指定名称的图片资源
        let image = UIImage(named: "sample")
        
        //机器学习模型只可以识别像素缓存格式的图像，
        //需要将图片的格式进行转换，
        //首先定义图片格式转换后的宽度和高度
        let width : CGFloat = 224.0
        let height : CGFloat = 224.0
        
        //然后获得一个基于位图的上下文，并设置其为当前的上下文。
        UIGraphicsBeginImageContext(CGSize( width, height: height))
        //将从项目中加载的图像，绘制在上下文的指定区域
        image?.draw(in:CGRect(x: 0, y: 0,  width, height: height))
        //接着从上下文中获得格式转换后的图像
        let newImage = UIGraphicsGetImageFromCurrentImageContext()
        //完成图像的格式转换后，关闭当前的上下文。
        UIGraphicsEndImageContext()
        
        //添加一个版本兼容性的判断语句
        if #available(iOS 11.0, *)
        {
            //初始化机器学习模型的对象
            let resnet50 = Resnet50()
            
            //通过调用机器学习模型的对象的预测方法，对图像中的物体进行识别。
            //需要注意的是，传入的图片需要是CVPixelBuffer格式，
            //这里使用一个方法将图片进行格式转换，此方法在下方实现
            guard let output = try? resnet50.prediction(image:pixelBufferFromImage(image: newImage!)) else
            {
                fatalError("Unexpected error.")
            }
            
            //在控制台输出识别的结果
            print(output.classLabel)
        }
    }
    
    //添加一个方法，用来实现图片格式的转换
    func pixelBufferFromImage(image: UIImage) -> CVPixelBuffer
    {
        //初始化一个上下文对象，它将被用来渲染CIImage图像
        let ciContext = CIContext(options: nil)
        //通过UIImage对象，初始化一个CIImage对象。
        let ciImage = CIImage(image: image)
        //通过上下文对象，将CIImage对象，转换为CGImage类型。
        //其中extend属性表示该对象在上下文中的区域。
        let cgImage = ciContext.createCGImage(ciImage!, from: ciImage!.extent)
        
        //创建一个非安全的可变指针，并给指针分配相应的内存。
        let umPointer = UnsafeMutablePointer<UnsafeRawPointer>.allocate(capacity: 1)
        //初始化一个CFNumber格式的数字，该类型位于Core Foundation框架
        let cfNum = CFNumberCreate(kCFAllocatorDefault, .intType, umPointer)
        //初始化一个数组对象，它将作为后面的字典对象的值
        let values: [CFTypeRef] = [kCFBooleanTrue, kCFBooleanTrue, cfNum!]
        //初始化两个非安全可变指针，作为字典的键和值
        //键
        let keysPointer = UnsafeMutablePointer<UnsafeRawPointer?>.allocate(capacity: 1)
        //值
        let valuesPointer =  UnsafeMutablePointer<UnsafeRawPointer?>.allocate(capacity: 1)
        
        //初始化一个字符串数组，包含三个键
        //1.像素缓存图像兼容性
        //2.像素缓存位图上下文兼容性
        //3..像素缓存每行的字节数
        let keys: [CFString] = [kCVPixelBufferCGImageCompatibilityKey,//1.像素缓存图像兼容性
        kCVPixelBufferCGBitmapContextCompatibilityKey,//2.像素缓存位图上下文兼容性
        kCVPixelBufferBytesPerRowAlignmentKey]//3..像素缓存每行的字节数
        //使用上文创建的两个数字，
        //对键、值两个非安全可变指针进行初始化
        keysPointer.initialize(to: keys)
        valuesPointer.initialize(to: values)
        
        //通过键、值两个指针，以及默认的内存分配方式和键的数量等参数，初始化一个字典对象。
        //该字典对象将作为配置选项，被用来创建像素缓存
        let options = CFDictionaryCreate(kCFAllocatorDefault, keysPointer, valuesPointer, keys.count, nil, nil)
        //新建一个图像缓存变量
        var pxbuffer: CVPixelBuffer?
        //然后对输入的缓存变量进行初始化。
        //参数依次标注
        var status = CVPixelBufferCreate(kCFAllocatorDefault, //1.内存分配方式
        cgImage!.width,//2.图像宽度
        cgImage!.height,//3.图像高度
        kCVPixelFormatType_32BGRA, //4.像素格式类型
        options, //5.配置参数
        &pxbuffer)//6.像素缓存的内存地址
        //接着锁定像素缓冲区的基址，在使用CPU访问像素数据之前，必须调用该函数
        status = CVPixelBufferLockBaseAddress(pxbuffer!, CVPixelBufferLockFlags(rawValue: 0))
        
        //获得像素缓冲区的基址
        let bufferAddress = CVPixelBufferGetBaseAddress(pxbuffer!)
        //然后创建一个基于设备的RGB颜色空间。
        //当在输出设备上显示时，依赖于设备的颜色空间中的颜色，
        //不会被变换或以其他方式被修改
        let rgbColorSpace = CGColorSpaceCreateDeviceRGB()
        //获得像素缓冲区每行的字节数
        let bytesperrow = CVPixelBufferGetBytesPerRow(pxbuffer!)
        //通过上文创建的参数，初始化一个二维绘图环境
        let context = CGContext(data: bufferAddress,
                                 cgImage!.width,
                                height: cgImage!.height,
                                bitsPerComponent: 8,
                                bytesPerRow: bytesperrow,
                                space: rgbColorSpace,
                                bitmapInfo: CGImageAlphaInfo.premultipliedFirst.rawValue 
                                | CGBitmapInfo.byteOrder32Little.rawValue)
        //重置二维绘图环境的旋转角度为0
        context?.concatenate(CGAffineTransform(rotationAngle: 0))
        //由于当前的二维绘图环境的坐标系统，和设备屏幕的坐标系统不同，
        //所以在此对二维绘图环境进行上下文翻转
        context?.concatenate(__CGAffineTransformMake( 1, 0, 0, -1, 0, CGFloat(cgImage!.height) ))
        
        //将图像绘制在二维绘图环境中，并指定图像的显示区域。
        context?.draw(cgImage!,
        in: CGRect(x:0, y:0, 
        CGFloat(cgImage!.width), 
        height:CGFloat(cgImage!.height)))
        //最后解锁橡树缓冲区的基地址。
        //在使用CPU访问像素数据之后，必须调用该函数。
        status = CVPixelBufferUnlockBaseAddress(pxbuffer!, CVPixelBufferLockFlags(rawValue: 0))

        //返回处理完成的像素缓存
        return pxbuffer!
    }
    
    override func didReceiveMemoryWarning() {
        super.didReceiveMemoryWarning()
        // Dispose of any resources that can be recreated.
    }
}