Linux内核V4L2架构
一.V4L2简介
V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。是linux操作系统下一套用于采集图片、视频和音频数据的通用API接口，配合适当的视频采集设备和相应的驱动程序，可以实现图片、视频、音频等的采集。 V4L2支持三种方式来采集图像：内存映射方式(mmap)、直接读取方式(read)和用户指针；
二.V4L2框架
1.重要结构体
该结构体描述了视频采集设备的driver信息
01 struct v4l2_capability
02 {
03 __u8 driver[16]; // 驱动名字
04 __u8 card[32]; // 设备名字
05 __u8 bus_info[32]; // 设备在系统中的位置
06 __u32 version; // 驱动版本号
07 __u32 capabilities; // 设备支持的操作
08 __u32 reserved[4]; // 保留字段
09 };
该结构体描述当前camera（摄像机）支持的格式信息
01 struct v4l2_fmtdesc
02 {
03 __u32 index; // 要查询的格式序号，应用程序设置
04 enum v4l2_buf_type type; // 帧类型，应用程序设置
05 __u32 flags; // 是否为压缩格式
06 __u8 description[32]; // 格式名称
07 __u32 pixelformat; //所支持的格式
08 __u32 reserved[4]; // 保留
09 };
该结构体描述每帧图像的具体格式，包括帧类型以及图像的长、宽等信息
01 struct v4l2_format
02 {
03 enum v4l2_buf_type type; // 帧类型，应用程序设置
04 union fmt
05 {
06 struct v4l2_pix_format pix; // 视频设备使用
07 struct v4l2_window win;
08 struct v4l2_vbi_format vbi;
09 struct v4l2_sliced_vbi_format sliced;
10 __u8 raw_data[200];
11 };
12 };
该结构体描述申请的缓冲区的基本信息
01 struct v4l2_requestbuffers
02 {
03 __u32 count; // 缓冲区内缓冲帧的数目
04 enum v4l2_buf_type type; // 缓冲帧数据格式
05 enum v4l2_memorymemory; // 区别是内存映射还是用户指针方式
06 __u32 reserved[2];
07 };
该结构体表示一帧图像数据的基本信息，包含序号、缓冲帧长度和缓冲帧地址等信息
01 struct v4l2_buffer
02 {
03 __u32 index; //buffer 序号
04 enum v4l2_buf_type type; //buffer 类型
05 __u32 byteused; //buffer 中已使用的字节数
06 __u32 flags; // 区分是MMAP 还是USERPTR
07 enum v4l2_field field;
08 struct timeval timestamp; // 获取第一个字节时的系统时间
09 struct v4l2_timecode timecode;
10 __u32 sequence; // 队列中的序号
11 enum v4l2_memory memory; //IO 方式，被应用程序设置
12 union m
13 {
14 __u32 offset; // 缓冲帧地址，只对MMAP 有效
15 unsigned long userptr;
16 };
17 __u32 length; // 缓冲帧长度
18 __u32 input;
19 __u32 reserved;
20 };
2.v4l2的实现流程
1）Video设备又分为主设备和从设备对于Camera来说， 主设备： Camera Host控制器为主设备，负责图像数据的接收和传输， 从设备： 从设备为Camera Sensor，一般为I2C接口，可通过从设备控制Camera采集图像的行为，如图像的大小、图像的FPS等。V4L2的主设备号是81，次设备号范围0~255
2）这些次设备号又分为多类设备：
视频设备（次设备号范围0-63）
Radio（收音机）设备（次设备号范围64-127）
Teletext设备（次设备号范围192-223）
VBI设备（次设备号范围224-255）。
V4L2设备对应的设备节点有/dev/videoX、/dev/vbiX、/dev/radioX。
本文只讨论视频设备，视频设备对应的设备节点是/dev/videoX，视频设备以高频摄像头或Camera为输入源，Linux内核驱动该类设备，接收相应的视频信息并处理
2.0v4l2的分层
user space： 应用程序主要通过libv4l库来操作摄像头 也可以基于字符设备/dev/videoX自己编写应用程序 guvcview:用于调试usb摄像头（还有个软件cheese也可以） v4l2 utilities: v4l2 的工具集（参考前面第3篇文章）
kernel space： sensor、ISP、VIPP、CSI、CCI都为从设备向上，提供dev/videoX节点， 从dphy物理层获取视频数据册通过vb2子模块 CCI ：主要是通过GPIO（供电、片选）、I2C（下发配置命令给sensor）实现配置sensor EHCI/OHCI：USB类型摄像头
适用于收音机，视频编解码器，视频捕获器以及视频输出设备驱动；
hardware CSIC Controller：从dphy获取mipi协议帧 I2C Controller：与sensor的i2c block通信 GPIO Controller：sensor通常需要供电或者片选
Video Control：视频处理命令（分辨率协商，数据格式处理，buffer管理）
Runtime Handle:运行时管理（Pipeline 管理，系统资源管理，中断调度）
Event Process：事件管理（上层调用，中断等事件的接收和分发）；
Config Handle：配置管理（硬件拓扑结构，模组自适应列表）；
external device sensror：摄像头的接口主要有:USB,DVP.MIPI(CSI)
Camera Modules：模组驱动（图像传感器，对焦电机，闪光灯等）
Camera Interfac：接口驱动（MIPI, Sub-Lvds, HiSpi, Bt656, DC等）
Image Signal Processor：图像处理驱动（基本处理模块驱动，3A统计驱动）
Video Inout Post Processor：视频输入后处理（Scaler，OSD等）
2.1中重要的结构体、
1）v4l2_device主设备
struct v4l2_device {
struct device *dev; // 父设备指针
#if defined(CONFIG_MEDIA_CONTROLLER) // 多媒体设备配置选项
// 用于运行时数据流的管理，
struct media_device *mdev;
#endif
// 注册的子设备的v4l2_subdev结构体都挂载此链表中
struct list_head subdevs;
// 同步用的自旋锁
spinlock_t lock;
// 独一无二的设备名称，默认使用driver name + bus ID
char name[V4L2_DEVICE_NAME_SIZE];
// 被一些子设备回调的通知函数，但这个设置与子设备相关。子设备支持的任何通知必须在
// include/media/.h 中定义一个消息头。
void (*notify)(struct v4l2_subdev *sd, unsigned int notification, void *arg);
// 提供子设备（主要是video和ISP设备）在用户空间的特效操作接口，
// 比如改变输出图像的亮度、对比度、饱和度等等
struct v4l2_ctrl_handler *ctrl_handler;
// 设备优先级状态
struct v4l2_prio_state prio;
/* BKL replacement mutex. Temporary solution only. */
struct mutex ioctl_lock;
// struct v4l2_device结构体的引用计数，等于0时才释放
struct kref ref;
// 引用计数ref为0时，调用release函数进行释放资源和清理工作
void (*release)(struct v4l2_device *v4l2_dev);
};
由上图可以知道v4l2_device是v4l2子系统的入口，管理v4l2zi系统的主设备和从设备。简单设备可以仅分配这个结构体，但在大多数情况下，都会将这个结构体嵌入到一个更大的结构体中以提供v4l2框架的功能，比如struct isp_device
2）video_device
struct video_device
{
const struct v4l2_file_operations *fops;
struct cdev *cdev; //vdev->cdev->ops = &v4l2_fops; 字符设备描述符
struct v4l2_device *v4l2_dev;
struct v4l2_ctrl_handler *ctrl_handler;
struct vb2_queue *queue; //q->ops = &dmarx_vb2_ops; buf操作真正驱动回调函数
…………
const struct v4l2_ioctl_ops *ioctl_ops;//vdev->ioctl_ops = &rkisp_dmarx_ioctl;
…………
};
V4L2子系统使用v4l2_device结构体管理设备，设备的具体操作方法根据设备类型决定，
前面说过管理的设备分为很多种，
若是视频设备，则需要注册video_device结构体，并提供相应的操作方法。
对于视频设备Camera而言，Camera控制器可以视为主设备，接在Camera控制器上的摄像头可以视为从设备。
3） v4l2_subdev从设备
[include/media/v4l2-subdev.h]
#define V4L2_SUBDEV_FL_IS_I2C (1U
Multimedia support --->
[*] V4L platform devices --->
STM32 Digital Camera Memory Interface (DCMI) support
I2C Encoders, decoders, sensors and other helper chips --->
OmniVision OV5640 sensor support
四.用ffmpeg测试
4.1添加ffmpeg
利用buildroot-2021.02.1添加ffmpeg
选中alsa-utils和ffmpeg之后进入ffmpeg
选中自己需要用到的库。之后sudo make，考备至开发板。
4.2视频测试
执行以下命令测试录制视频
ffmpeg -f v4l2 -framerate 10 -i /dev/video1 -q 10 my.mp4
4.3搭建nginx-rtmp服务器进行推流拉流测试
安装以下依赖
创建文件夹存放nginx
mkdir rtmp cd rtmp wget http://nginx.org/download/nginx-1.13.3.tar.gz
去github下载nginx-rtmp模块
git clone https://github.com/arut/nginx-rtmp-module.git tar -zxvf nginx-1.13.3.tar.gz cd nginx-1.13.3 ./configure --add-module=../nginx-rtmp-module make make install
由于版本nginx版本不同，这里不一定能编译通过。
没报错的话，会有如下目录
/usr/local/nginx
cd /usr/local/nginx cd sbin
启动nginx ./nginx 启动niginx时也可能出现错误，如下：
asdf@ubuntu:/usr/local/nginx/sbin$ ./nginx nginx: [alert] could not open error log file: open() "/usr/local/nginx/logs/error.log" failed (13: Permission denied) 2021/07/07 07:39:22 [emerg] 23751#0: mkdir() "/usr/local/nginx/client_body_temp" failed (13: Permission denied)
此时需要修改权限
sudo chown root nginx sudo chmod u+s nginx
查看进程
ps -ef|grep nginx
ifconfig 查看ip，浏览器访问ip，看到下图, 说明nginx安装ok.
注意：这是动态ip, 每次开机启动都不同，如果推流失败可能是ip变动了。 配置rtmp服务 配置文件修改, cd到nginx的conf目录 vim nginx.conf 添加如下内容
重启nginx pkill nginx
重启./nginx
推本地流测试 ffmpeg -re -i 1.mp4 -f flv rtmp://192.168.126.132/live
实时推流测试
ffmpeg -f v4l2 -framerate 15 -i /dev/video0 -q 15 -f flv rtmp://192.168.126.132/live
下载VLC软件
VLC播放测试
