SDK架构介绍
1. 模块介绍¶
| 简称 | 全称 | 职责 |
|---|---|---|
| AEC | Acoustic Echo Cancellation | 回声消除, 一种用于抑制远程回声的功能。 |
| AED | Acoustic Event Detection | 声学事件检测，用于在音讯码流中侦测特定的声音事件。目前支持对婴儿哭声和高分贝声音的检测（LSD）。 |
| AI | Audio Input | 音频输入，主要实现配置及启用音频输入设备、获取音频帧数据、以及音量设置等功能。 |
| AO | Audio Output | 音频输出，主要实现配置及启用音频输出设备、发送音频帧数据、以及音量设置等功能。 |
| APC | Audio Process Chain | 音频处理链路，是一个包含降噪、均衡器和自动增益控制的算法组合。 |
| BF | Beamforming | 波束形成或空间滤波是一种用于传感器数组的定向信号处理技术传输或接收 |
| VIF | Video Input Interface | 采集DVP/MIPI/BT656/BT1120等视频接口信号，可同时采集多路信号，也可同时采集多种接口。 |
| SCL | Scaler | 将原始画面缩放到指定的分辨率或画面旋转 |
| DISP | Display Engine | DISP对VDEC/DIVP 处理单元输出的图像做硬件拼图，并连同AO输出音频信号一起编码成HDMI/VGA/CVBS 输出信号的单元 |
| FB | FrameBuffer | UI显示 |
| GFX | Graphics Engine | Graphic Engine 提供对2D画图的基本硬件加速支援，降低CPU的负荷 |
| HDMI | High Definition Multimedia Interface | HDMI/VGA标准输出 |
| IPU | Image Processing Unit | 实现AI模型的推演功能加速 |
| IQSERVER | Image Quality tuning Server | 图像质量调校服务 |
| ISP | Image Signal Processing | 实现HDR，3D/2D降噪，3A算法，WDR等相关功能。 |
| LDC | Lens distortion correction | 通过bin档的设置将画面内容进行拉直或者融合。 |
| SRC | Sample Rate Conversion | 用于对音频流做采样频率转换，以获取不同采样频率的音频流。 |
| SSL | Sound Source Localization | 声源定位，用于定位声音来源的方向。 |
| SYS | System | 实现 MI 系统初始化、内存缓冲池管理、各个模块之间数据流的管理 |
| SNR | Sensor | 获取摄像头接口信息、调整分辨率和帧率等。 |
| VDEC | Video Decoder | H264/H265/JPEG 视频解码器 |
| VENC | Video Encoder | H264/H265/MotionJpeg编码器 |
| WLAN | Wireless Local Area Network | 提供简单的wifi信号的扫描，连接功能 |
2. 软件架构¶
-
功能实现函数从上到下，分为MI API层，MI实现层，Hal硬件抽象层，Driver层和芯片硬件层。
-
SDK功能代码在Kernel层实现，减少从kernel到User mode来回调度，提高逻辑函数实现的效率。
-
对上层用户提供MI API的User Mode接口，用户层APP直接调用MI接口，即可调用到对应的MI功能。
3. SDK目录结构¶
| 目录 | 模块名 | 功能 |
|---|---|---|
| project | board | PCB板信息存放路径 |
| project | configs | 预配置文件存放路径 |
| project | image | 产生镜像文件的材料库和镜像文件存放处 |
| project | kbuild | kernel编译环境 |
| project | release | 目标池，存放对外头文件，库文件和内核模块以及第三方库 |
| SDK | Verify/feature | 验证文件夹，里面存放模块单元测试和特性测试文件 |
| SDK | Verify/demo | 整体功能测试demo |
4. 基本概念¶
-
数据流：
各个MI Module 可以看成是一个纯数据处理单元，数据流推送由MI SYS内部统一调度。输入数据流表示该数据单元的input数据，输出数据流表示该处理单元处理过的output数据。
-
控制流
APP 对各个MI Module 数据处理过程进行参数控制的过程，比如设置MI_VDEC解码参数，启动停止MI_VDEC 通道，设置MI_VDEC通道输出端口之分辨率及format等
-
Device（设备）
内部或外部硬件设备，不同模块的含义不完全一致，具体请参考各模块api手册
-
Channel（通道）
-
对于需要处理或者输出stream的MI模组，一个channel代表该MI 模组处理或者输出一路stream的分时复用的上下文（context）及相关控制流设定
-
对于可分时复用之模组如MI_VDEC, MI_DIVP, MI_DISP，可支援多个channel
-
-
Port（端口）
-
Port分为2种，input port和output port。input port为channel输入数据流的位置，而output port则是channel输出数据流的位置。
-
一个channel可以有多个input port及多个output port.
-
5. API¶
参考各模块API接口介绍文档。
6. DEBUG方法¶
详细参考各模块API对应章节PROCFS介绍。