zoukankan      html  css  js  c++  java
  • 2.3 摄像头驱动_vivi驱动程序分析

    学习目标:熟悉vivi的调用过程,分析vivi程序源码的ioctl函数;

    一、vivi虚拟视频驱动测试方法

    当我们接上usb摄像头设备时,系统会自动给我们安装对应的usb设备驱动程序。如果下次直接测试vivi驱动或者使用自己编译的vivi驱动时,可能会提示缺少其它函数。因此,可以使用以下测试方法:

    1. 先安装系统自带的vivi驱动和它所有依赖的所有驱动:# sudo modprobe vivi ;

    2. 卸载原有的vivi驱动 :# sudo rmmod vivi ;

    3. 装载自己的驱动 :# sudo insmod ./vivi.ko ;
    之后,可以使用命令:# ls /dev/video* ,看到vivi虚拟出来的视频设备设备节点 /dev/video0 。

    4. 执行命令# xawtv -c /dev/video0 测试;

    二、分析vivi驱动的过程

    1、xawtv执行过程

    方法一:通过使用source insight从xawtv源码的main函数开始分析。但由于程序中还执行了许多无关的功能,分析过程会比较漫长;

    方法二:使用strace命令跟踪调用过程: # strace -o xawtv.txt xawtv  生成了调用过程的描述摘要,保存在:xawtv.txt。

    打开文档可以看到:

     1 execve("/usr/bin/xawtv", ["xawtv"], [/* 36 vars */]) = 0
     2 brk(0)                                  = 0x9ae0000
     3 access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
     4 mmap2(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb7736000
     5 access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
     6 open("/etc/ld.so.cache", O_RDONLY)      = 3
     7 fstat64(3, {st_mode=S_IFREG|0644, st_size=71399, ...}) = 0
     8 mmap2(NULL, 71399, PROT_READ, MAP_PRIVATE, 3, 0) = 0xb7724000
     9 close(3)                                = 0
    10 access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
    11 open("/lib/tls/i686/cmov/libc.so.6", O_RDONLY) = 3
    12 read(3, "177ELF111331260l1004"..., 512) = 512
    13 fstat64(3, {st_mode=S_IFREG|0755, st_size=1319364, ...}) = 0
    14 mmap2(NULL, 1325416, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x1af000
    15 mmap2(0x2ed000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x13e) = 0x2ed000
    16 mmap2(0x2f0000, 10600, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x2f0000
    17 close(3)                                = 0
    18 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xb7723000
    19 set_thread_area({entry_number:-1 -> 6, base_addr:0xb77238d0, limit:1048575, seg_32bit:1, contents:0, read_exec_only:0, limit_in_pages:1, seg_not_present:0, useable:1}) = 0
    20 mprotect(0x2ed000, 8192, PROT_READ)     = 0
    21 mprotect(0x805e000, 4096, PROT_READ)    = 0
    22 mprotect(0x349000, 4096, PROT_READ)     = 0
    23 munmap(0xb7724000, 71399)               = 0
    24 getpid()                                = 2130
    25 rt_sigaction(SIGCHLD, {SIG_DFL, [CHLD], SA_RESTART}, {SIG_DFL, [], 0}, 8) = 0
    26 geteuid32()                             = 1000
    27 brk(0)                                  = 0x9ae0000
    28 brk(0x9b01000)                          = 0x9b01000
    29 getppid()                               = 2129
    ..........

    通过搜索/dev/video0设备节点,查看关于vivi调用部分,是一些列的ioctl函数,它们对应于xawtv工具的各个属性控制选项:

    接下来,一步步的分析,就能知道ioctl的调用过程

     1 open("/dev/video0", O_RDWR|O_LARGEFILE) = 4
     2 ioctl(4, VIDIOC_QUERYCAP or VT_OPENQRY, 0xbfaccd44) = 0
     3 ioctl(4, VIDIOC_G_FMT or VT_SENDSIG, 0xbfaccc78) = 0
     4 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
     5 ioctl(4, 0xc02c564a, 0xbfaccb58)        = -1 EINVAL (Invalid argument)
     6 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
     7 ioctl(4, 0xc02c564a, 0xbfaccb58)        = -1 EINVAL (Invalid argument)
     8 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
     9 ioctl(4, 0xc02c564a, 0xbfaccb58)        = -1 EINVAL (Invalid argument)
    10 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
    11 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
    12 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = 0
    13 ioctl(4, VIDIOC_ENUM_FMT or VT_SETMODE, 0xbfaccbec) = -1 EINVAL (Invalid argument)
    14 ioctl(4, VIDIOC_QUERYCAP or VT_OPENQRY, 0xbfaccb84) = 0
    15 ioctl(4, VIDIOC_G_INPUT, 0xbfacca2c)    = 0
    16 ioctl(4, VIDIOC_ENUMINPUT, 0xbfacca2c)  = 0
    17 fstat64(4, {st_mode=S_IFCHR|0660, st_rdev=makedev(81, 0), ...}) = 0
    18 ioctl(4, MATROXFB_TVOQUERYCTRL or VIDIOC_QUERYCTRL, 0xbfacca78) = -1 EINVAL (Invalid argument)
    19 ioctl(4, VIDIOC_QUERYCAP or VT_OPENQRY, 0x9b40998) = 0
    20 fcntl64(4, F_SETFD, FD_CLOEXEC)         = 0
    21 ioctl(4, VIDIOC_ENUMINPUT, 0x9b40acc)   = 0
    22 ioctl(4, VIDIOC_ENUMINPUT, 0x9b40b18)   = 0
    23 ioctl(4, VIDIOC_ENUMINPUT, 0x9b40b64)   = 0
    24 ioctl(4, VIDIOC_ENUMINPUT, 0x9b40bb0)   = 0
    25 ioctl(4, VIDIOC_ENUMINPUT, 0x9b40bfc)   = -1 EINVAL (Invalid argument)
    26 ioctl(4, VIDIOC_ENUMSTD, 0x9b40f8c)     = 0
    27 ioctl(4, VIDIOC_ENUMSTD, 0x9b40fcc)     = 0
    28 ioctl(4, VIDIOC_ENUMSTD, 0x9b4100c)     = 0
    29 ioctl(4, VIDIOC_ENUMSTD, 0x9b4104c)     = 0
    30 ioctl(4, VIDIOC_ENUMSTD, 0x9b4108c)     = 0
    31 ioctl(4, VIDIOC_ENUMSTD, 0x9b410cc)     = 0
    32 ioctl(4, VIDIOC_ENUMSTD, 0x9b4110c)     = 0
    33 ioctl(4, VIDIOC_ENUMSTD, 0x9b4114c)     = -1 EINVAL (Invalid argument)
    .......

    2. 调用vivi的ioctl函数过程分析

    由open函数返回值得到设备节点句柄fd=4,只需要看关于4的ioctl的部分即可。ioctl函数在不同的函数中被调用,执行不同的功能:

    // 1~7都是在v4l2_open里调用
    1). open 打开了两次

    2). ioctl(4, VIDIOC_QUERYCAP  // 列举性能

    // 3~7 都是在get_device_capabilities里调用,源码中执行了多次
    3). for()
            ioctl(4, VIDIOC_ENUMINPUT   // 列举输入源,VIDIOC_ENUMINPUT/VIDIOC_G_INPUT/VIDIOC_S_INPUT不是必需的
    4). for()
            ioctl(4, VIDIOC_ENUMSTD  // 列举标准(制式), 不是必需的
    5). for()       
            ioctl(4, VIDIOC_ENUM_FMT // 列举格式

    6). ioctl(4, VIDIOC_G_PARM
    7). for()
            ioctl(4, VIDIOC_QUERYCTRL    // 查询属性(比如说亮度值最小值、最大值、默认值)

    // 8~10都是通过v4l2_read_attr来调用的       

    8). ioctl(4, VIDIOC_G_STD            // 获得当前使用的标准(制式), 不是必需的

    9). ioctl(4, VIDIOC_G_INPUT

    10). ioctl(4, VIDIOC_G_CTRL           // 获得当前属性, 比如亮度是多少

    11). ioctl(4, VIDIOC_TRY_FMT          // 试试能否支持某种格式

    12). ioctl(4, VIDIOC_S_FMT            // 设置摄像头使用某种格式

    // 13~16在v4l2_start_streaming
    13). ioctl(4, VIDIOC_REQBUFS          // 请求系统分配缓冲区
    14). for()
            ioctl(4, VIDIOC_QUERYBUF         // 查询所分配的缓冲区
            mmap       
    15). for ()
            ioctl(4, VIDIOC_QBUF             // 把缓冲区放入队列       
    16). ioctl(4, VIDIOC_STREAMON     // 启动摄像头

    // 17里都是通过v4l2_write_attr来调用的
    17). for ()
        ioctl(4, VIDIOC_S_CTRL               // 设置属性
        ioctl(4, VIDIOC_S_INPUT              // 设置输入源
        ioctl(4, VIDIOC_S_STD                 // 设置标准(制式), 不是必需的

    // v4l2_nextframe > v4l2_waiton   
    18). v4l2_queue_all
           v4l2_waiton   
            for ()
            {
                select(5, [4], NULL, NULL, {5, 0})      = 1 (in [4], left {4, 985979})
                ioctl(4, VIDIOC_DQBUF                // de-queue, 把缓冲区从队列中取出
                // 处理, 之前的mmp函数已经获得了缓冲区的地址, 就可以直接访问数据       
                ioctl(4, VIDIOC_QBUF                 // 把缓冲区放入队列
            }

    3. vivi驱动必不可少的11个ioctl

    在linux 2.6.31.14 内核中,当应用程序调用v4l2框架里的ioctl时,最终会调用到vivi.c里的vivi_ioctl_ops结构体中的各个函数。

    -----------------------------------------------------------------------------------------------------------------------------------------------------------------

    例如:当执行ioctl(4, VIDIOC_REQBUFS          // 请求系统分配缓冲区,函数的调用过程:

    --->调用v4l2_dev.c中的 .unlocked_ioctl = v4l2_ioctl,

      struct video_device *vdev = video_devdata(filp); //次设备号找到对应的video_device

      ret = vdev->fops->ioctl(filp, cmd, arg);//最终会调用到vivi.c中的 .unlocked_ioctl = video_ioctl2, /* V4L2 ioctl handler */

        -->video_ioctl2  // video_usercopy(file, cmd, arg, __video_do_ioctl); 此时进入了v4l2_ioctl.c文件中

          -->__video_do_ioctl

             struct video_device *vfd = video_devdata(file);//次设备号找到对应的video_device

             const struct v4l2_ioctl_ops *ops = vfd->ioctl_ops;

             ret = ops->vidioc_reqbufs(file, fh, p); //调用vivi.c中的vivi_ioctl_ops结构体中的vidioc_reqbufs函数    

    __video_do_ioctl下面有对cmd的处理:

     1 case VIDIOC_REQBUFS:
     2     {
     3         struct v4l2_requestbuffers *p = arg;
     5         if (!ops->vidioc_reqbufs)
     6             break;11         ret = check_fmt(ops, p->type);
    15         if (p->type < V4L2_BUF_TYPE_PRIVATE)
    16             CLEAR_AFTER_FIELD(p, memory);
    18         ret = ops->vidioc_reqbufs(file, fh, p);
    19         dbgarg(cmd, "count=%d, type=%s, memory=%s
    ",
    20                 p->count,
    21                 prt_names(p->type, v4l2_type_names),
    22                 prt_names(p->memory, v4l2_memory_names));
    23         break;
    24     }

     -----------------------------------------------------------------------------------------------------------------------------------------------------------------

    其中,vivi_ioctl_ops结构体为:

     1 static const struct v4l2_ioctl_ops vivi_ioctl_ops = {
     2     .vidioc_querycap      = vidioc_querycap,
     3     .vidioc_enum_fmt_vid_cap  = vidioc_enum_fmt_vid_cap,
     4     .vidioc_g_fmt_vid_cap     = vidioc_g_fmt_vid_cap,
     5     .vidioc_try_fmt_vid_cap   = vidioc_try_fmt_vid_cap,
     6     .vidioc_s_fmt_vid_cap     = vidioc_s_fmt_vid_cap,
     7     .vidioc_reqbufs       = vidioc_reqbufs,
     8     .vidioc_querybuf      = vidioc_querybuf,
     9     .vidioc_qbuf          = vidioc_qbuf,
    10     .vidioc_dqbuf         = vidioc_dqbuf,
    11     .vidioc_s_std         = vidioc_s_std,
    12     .vidioc_enum_input    = vidioc_enum_input,
    13     .vidioc_g_input       = vidioc_g_input,
    14     .vidioc_s_input       = vidioc_s_input,
    15     .vidioc_streamon      = vidioc_streamon,
    16     .vidioc_streamoff     = vidioc_streamoff,
    17     .vidioc_log_status    = v4l2_ctrl_log_status,
    18     .vidioc_subscribe_event = v4l2_ctrl_subscribe_event,
    19     .vidioc_unsubscribe_event = v4l2_event_unsubscribe,
    20 };

    以上驱动程序结构体中必需的11个ioctl函数:

    // 表示它是一个摄像头设备
     .vidioc_querycap      = vidioc_querycap,

    /* 用于列举、获得、测试、设置摄像头的数据的格式 */
     .vidioc_enum_fmt_vid_cap  = vidioc_enum_fmt_vid_cap,
     .vidioc_g_fmt_vid_cap     = vidioc_g_fmt_vid_cap,
     .vidioc_try_fmt_vid_cap   = vidioc_try_fmt_vid_cap,
     .vidioc_s_fmt_vid_cap     = vidioc_s_fmt_vid_cap,

    /* 缓冲区操作: 申请/查询/放入队列/取出队列 */
     .vidioc_reqbufs       = vidioc_reqbufs,
     .vidioc_querybuf      = vidioc_querybuf,
     .vidioc_qbuf          = vidioc_qbuf,
     .vidioc_dqbuf         = vidioc_dqbuf,

    // 启动/停止
     .vidioc_streamon      = vidioc_streamon,
     .vidioc_streamoff     = vidioc_streamoff, 

    4.数据的获取过程

    1). 请求分配缓冲区:

      ioctl(4, VIDIOC_REQBUFS          // 请求系统分配缓冲区, 

    最终会调用vivi.c程序的vivi_ioctl_ops结构体的videobuf_reqbufs函数-->

      videobuf_reqbufs(队列, v4l2_requestbuffers) // 队列在open函数用videobuf_queue_vmalloc_init初始化。根据xawtv程序中结构体的各项配置可知,这个IOCTL只是分配缓冲区的头部信息,真正的缓存还没有分配。

    2) 查询映射缓冲区:
    ioctl(4, VIDIOC_QUERYBUF         // 查询所分配的缓冲区
            videobuf_querybuf        // 获得缓冲区的数据格式、大小、每一行长度、高度           
    mmap(参数里有"大小")   // 在这里才分配缓存
            -->v4l2_mmap
                -->vivi_mmap
                    -->videobuf_mmap_mapper
                        -->videobuf-vmalloc.c里的__videobuf_mmap_mapper
                                mem->vmalloc = vmalloc_user(pages);   // 在这里才给缓冲区分配空间

    3) 把缓冲区放入队列:
    ioctl(4, VIDIOC_QBUF             // 把缓冲区放入队列        
        调用videobuf_qbuf
            q->ops->buf_prepare(q, buf, field);  // 调用驱动程序提供的函数做些预处理
            list_add_tail(&buf->stream, &q->stream);  // 把缓冲区放入队列的尾部
            q->ops->buf_queue(q, buf);           // 调用驱动程序提供的"入队列函数"

    4) 启动摄像头
    ioctl(4, VIDIOC_STREAMON
        videobuf_streamon
            q->streaming = 1;

    5) 用select查询是否有数据,select(5, [4], NULL, NULL, {5, 0});根据select原理可知,驱动程序里必定有: 产生数据、唤醒进程
         它会调用到驱动程序提供的vivi_poll函数

    --->v4l2_poll
                   -->vdev->fops->poll
                        -->vivi_poll  
                            videobuf_poll_stream
                                // 从队列的头部获得缓冲区
                                buf = list_entry(q->stream.next, struct videobuf_buffer, stream);
    如果缓冲区里没有数据的话,就执行poll_wait(file, &buf->done, wait)在buf->done里休眠。

    谁来产生数据、谁来唤醒它?
        内核线程vivi_thread每30MS执行一次,它调用
        vivi_thread_tick
            vivi_fillbuff(fh, buf);  // 构造数据
            wake_up(&buf->vb.done);  // 唤醒进程

    在vivi.c里面有它的唤醒函数  wake_up(&buf->vb.done) ,在vivi虚拟驱动里采用一个内核线程vivi_thread ,使用vivi_sleep函数休眠,每隔一段时间使用vivi_thread_tick里的vivi_fillbuff来产生数据,并唤醒进程wake_up(&buf->vb.done)。

    6) 产生数据后从队列里取出缓冲区
    // 有那么多缓冲区,APP如何知道哪一个缓冲区有数据?调用VIDIOC_DQBUF
    ioctl(4, VIDIOC_DQBUF
        vidioc_dqbuf   
            retval = stream_next_buffer(q, &buf, nonblocking);// 在队列里获得有数据的缓冲区
            list_del(&buf->stream);     // 把它从队列中删掉
            videobuf_status(q, b, buf, q->type);     // 把这个缓冲区的状态返回给APP                         
    应用程序根据VIDIOC_DQBUF所得到缓冲区状态,知道是哪一个缓冲区有数据就去读对应的地址(该地址来自前面的mmap)

    注意:应用程序调用某个ioctl,vivi.c驱动程序必须提供相应的ioctl,它们实质上是调用系统提供的函数(例如videobuf-core.c和videobuf-vmalloc.c等)来实现相应的ioctl。

    三、怎么写摄像头驱动程序:
    1. 分配video_device:video_device_alloc 
    2. 设置
       .fops
       .ioctl_ops (里面需要设置11项)
       如果要用内核提供的缓冲区操作函数,还需要构造一个videobuf_queue_ops
    3. 注册: video_register_device


    参考: https://blog.csdn.net/sinat_31500569/article/details/52050449

  • 相关阅读:
    重建二叉树
    从尾到头打印链表
    合并两个数组
    替换空格
    二维数组中的查找
    机器学习中的 precision、recall、accuracy、F1 Score
    rand、randi和randn的区别?
    使用自己的数据集训练和测试"caffenet"
    caffe环境的搭建(Ubuntu14.04 64bit,无CUDA,caffe在CPU下运行)
    Java 并发工具包 java.util.concurrent 用户指南
  • 原文地址:https://www.cnblogs.com/lxl-lennie/p/10281276.html
Copyright © 2011-2022 走看看