zoukankan      html  css  js  c++  java
  • macOS平台下虚拟摄像头的研发总结

    一、背景介绍

        虚拟摄像头,顾名思义,就是利用软件技术虚拟出一个摄像头硬件设备供用户使用。当我们需要对视频图像进行处理再输出时,虚拟摄像头就具备非常大的价值了。关于如何在Windwos上实现一个虚拟设备的资料已经非常丰富了,Windows Driver Kit里面也有非常多的帮助文档。这篇博文主要总结了在Mac下开发虚拟摄像头的一些经验。Mac下的虚拟摄像头产品其实也有不少,例如CamTwist, CamMask, CamWiz, ManyCam等。但是关于如何在Mac下开发虚拟摄像头设备的资料却是异常匮乏。通过一番搜索后才找到一个关键字:CoreMediaIO. 经过了解,CoreMediaIO是Mac下的一个framework,主要用于对视频图像进行处理。而CoreMediaIO framework有一个Device Abstraction Layer(DAL),它类似与Mac下CoreAudio的Hardware Abstraction Layer(HAL)。HAL主要是用来处理音频硬件发送的音频流的,而DAL则是用来处理视频设备的视频流的。因此,利用DAL插件框架,可以模拟出一个摄像头设备供上层用户使用。

        CoreMediaIO DAL有一个示例项目,这个项目模拟出了一个名为“Sample”的设备,通过底层kext模块提供的模拟数据实现视频帧的传递。这个DEMO要真正使用起来的话,有一些需要注意的地方。在Demo中的README文件中推荐使用如下命令安装预编译好的程序:

    // Debug
    sudo darwinup install {path to CoreMediaIO folder}/Prebuilts/Sample-Debug.tar.gz
    // Release
    sudo darwinup install {path to CoreMediaIO folder}/Prebuitls/Sample-Release.tar.gz
    

        这样安装之后,并不能马上就能找到虚拟摄像头。一方面是因为kext提供的模拟数据超过800MB,加载到内存中需要一定的时间;另一方面是因为Prebuilts中的kext模块是未签名的。而OSX自从Mavericks开始要求kext模块必须经过签名,系统才会自动加载。否则的话需要关闭System Integirty Protection(SIP),手动加载Kext模块才能让Demo正常工作。

    二、如何编译项目

        在我们着手开发定制自己的虚拟摄像头之前,第一步就是要搞清楚Demo工程的组织结构。在Demo工程中包括两个文档,分别说明了DAL插件的工程结构、工作原理。这两个文档在开发之前应该要好好看看,对于了解整个代码结构和工作机制具有较大的帮助。另外,如何编译整个Demo工程也是个大问题。因为下载下来的工程中缺少了CoreAudio模块,需要手动下载CoreAudio模块加入到工程中去。然后可能还有一些语法错误需要修改,这个根据系统版本和XCode版本视情况而定。

        1. 添加CoreAudio模块。默认工程是不包含CoreAudio模块的,因此直接编译会有很多链接错误:

        下载地址:Core Audio Utility Classes.(可能需要Apple ID登陆)。下载好把整个文件夹加入到Demo工程中去进行编译。如果编译还是有错的话,可以将CoreAudio模块单独编译出一个静态库,然后在Demo工程中加入CoreAudio头文件和静态库进行编译,这样应该就可以解决掉编译问题了。

        2. 语法修改。可能是因为macOS SDK的版本问题,编译过程中需要修改一些语法错误,如下:

       解决方法倒也简单:

     

        还有一些赋值的问题,不过基本上都是编译标准的问题,不难解决掉。

    三、插件模块修改

        1. 分辨率。官方Demo工程提供了几个分辨率:720x480, 1280x720, 1920x1080。如果要增加自己的分辨率的话,可以直接把这几个分辨率改掉。

        在这里将分辨率的宽高修改掉,同时注意还有帧率也是在这里修改的。注意Demo工程三种分辨率使用的颜色模式是UVVY422哦!因此如果要采用Demo工程的颜色模式的话,需要将图像转换为UYVY422格式。

        2. 颜色模式。如何修改颜色模式呢?总共有两个地方需要修改,除了上面那个kCMVideoCodecType_422YpCbCr8需要修改,在CMIO_DPA_Sample_Server_Stream.cpp中还有个地方需要修改:

        这里指定Plugin支持的颜色模式。那么,Plugin总共支持哪些颜色模式呢?看看enum里的枚举成员就知道了:

        3. 设备基本信息。设备基本信息主要就是设备的名称,方便用户进行识别选择使用。这个只有一个地方需要修改:

        4. Create server failed的问题。在plugin的入口函数中,有这样一段代码:

        开发人员在注释中详细解释了,为了调试的目的这里尝试使用了手动方式启动Assistant。而在实际测试时,bootstrap_create_server()会经常失败抛出异常,导致入口函数提前结束执行,因而创建虚拟设备失败。注释中还解释道,一般是使用plist文件在系统启动时创建assistant服务。这样,bootstrap_loop_up()在查找到Assistant服务后,就会跳过手动创建Assistant服务。

        由此看来,位于/Library/LaunchDaemons中的plist文件是必不可少的。/Library/LaunchDaemons/下的plist文件其实就是指定哪些程序随系统启动自运行。其内容如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
    <plist version="1.0">
    <dict>
    	<key>Label</key>
    	<string>com.apple.cmio.DPA.Sample</string>
    	<key>ProgramArguments</key>
    	<array>
    		<string>/Library/CoreMediaIO/Plug-Ins/DAL/Sample.plugin/Contents/Resources/SampleAssistant</string>
    	</array>
    	<key>MachServices</key>
    	<dict>
    		<key>com.apple.cmio.DPA.Sample</key>
    		<true/>
    	</dict>
    </dict>
    </plist>

    四、内核模块修改

        1. 移除Demo中的模拟帧数据。Demo工程提供了三个分辨率的模拟数据,每个分辨率都有30帧的数据。三个分辨率的数据加起来有八百多兆,定制的时候有必要把他们去掉。根据Demo工程配置来看,模拟帧数据是作为section data编译到了kext模块中去了:

        因此这里去掉模拟数据的方式非常简单,把”Other Linker Flags“里面的内容全部删掉即可。当然,代码中使用这些section data的部分也要跟着删掉。

        2. 内核签名。OSX自从Mavericks开始,对Kext开发引入了签名机制。所有未签名的kext模块系统不会再自动加载。因此,要让系统自动加载第三方开发的kext模块,开发者需要向苹果申请能够对kext进行签名的证书(看这里)。一般的开发者证书即使正常签名了,也不能被系统正常识别。签名过后,可以对kext模块进行签名验证:

        在没有能够对kext进行签名的证书时,可以把SIP关掉进入测试模式。这样即便kext未签名也可以手动进行加载,方便对程序进行测试。

        3. kext模块自动加载。这里有一点奇怪的是:经过签名的kext模块在系统重启时会被系统自动加载,但是通过Plugin访问不到kext模块服务。必须要先调用kextunload一次,再kextload一次才能起作用。暂时没有搞清楚这是什么原因,不过根据其他虚拟摄像头产品的解决方案来看,也是存在这个问题的。比如CamWiz的解决方案就是:

        (1)编写一个plist文件放到/Library/LaunchDaemons/文件下,其内容为:

    <?xml version="1.0" encoding="UTF-8"?>
    <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
    <plist version="1.0">
    <dict>
    	<key>Disabled</key>
    	<false/>
    	<key>Label</key>
    	<string>com.apple.vcam.DriverReloader</string>
    	<key>ProgramArguments</key>
    	<array>
    		<string>/Library/CoreMediaIO/Plug-ins/DAL/Sample.plugin/Contents/Resources/reloadKext.sh</string>
    	</array>
    	<key>RunAtLoad</key>
    	<true/>
    </dict>
    </plist>
    

      (2)编写一个shell脚本reloadKext.sh,并打包到Sample.plugin的Resources文件夹下,其内容如下:

    #!/bin/sh
    
    /sbin/kextunload "/Library/Extensions/IOVideoSample.kext"
    /sbin/kextload   "/Library/Extensions/IOVideoSample.kext"
    

      这样,每次系统重启的时候都会去调用这个脚本,卸载kext模块然后再加载。这就解决了Kext模块的问题。事实上,如果没有硬件层的需要,去掉kext模块是最好的。但是整个Demo工程代码繁杂,文档又是极其匮乏,想要剥离Kext模块难度较大。但是仍然有不少的产品实现了这一点,如CamTwist、Cammask和ManyCam。CamTwist更牛逼的是,在一个插件中虚拟出了两个设备。一个是YUV颜色模式,另外一个是BGRA颜色模式。

    五、其他事项 

        1. 程序打包及安装路径。根据职能需要,整个项目的安装程序分成三个部分:

        (1)*.plugin安装到/Library/CoreMediaIO/Plug-Ins/DAL/.

        (2)*.kext安装到/Library/Extensions/. 苹果官方规定:第三方开发的kext模块只能放在这里,而苹果自带的kext模块则放在/System/Library/Extensions/.

        (3)*.plist安装到/Library/LaunchDaemons/. 放在这里的plist文件都是为了开机启动。因此在制作安装包时,记得要求用户安装完毕时重启系统。

     

     

        2. 文件权限问题。安装包中的所有文件最好修改所有者权限,否则有可能无法使用:

    $ sudo chown -R root:wheel *

        3. 相关命令 

        (1)otool搭配install_name_tool使用

        (2)kext*族命令(kextload, kextunload, kextstat, kextutil

        4.  安装包打包程序还是推荐使用packages,这是一款良心工具。使用简单、界面美观、功能强大实用,实在是制作pkg文件的上上之选。

    六、参考链接

    1. https://developer.apple.com/library/content/documentation/Security/Conceptual/System_Integrity_Protection_Guide/KernelExtensions/KernelExtensions.html

    2. https://superuser.com/questions/47233/how-can-i-force-a-mac-os-x-kext-to-load-prior-to-login

    3. http://apple.stackexchange.com/questions/163059/how-can-i-disable-kext-signing-in-mac-os-x-10-10-yosemite

    4. https://developer.apple.com/library/content/samplecode/CoreMediaIO/Listings/Prebuilts_Prebuilts_ReadMe_txt.html

    5. https://forums.developer.apple.com/thread/18019

    6. https://macwish.com/kext-signing-for-mac-yosemite/

    7. https://developer.apple.com/library/content/documentation/Security/Conceptual/System_Integrity_Protection_Guide/ConfiguringSystemIntegrityProtection/ConfiguringSystemIntegrityProtection.html

  • 相关阅读:
    使用VisualStudio2015开发QT项目
    界面控件
    SmartGit 试用过期
    视图和模型变换
    模型变换和视图变换
    一元二次方程
    论cudnn与cuda之间的关系,和实际例子测试。
    在Ubuntu 18.04上安装Tensorflow
    ubuntu14.04安装CUDA8.0
    Windows10系统远程桌面连接出现卡顿如何解决
  • 原文地址:https://www.cnblogs.com/csuftzzk/p/macos_virtual_camera.html
Copyright © 2011-2022 走看看