AE/AWB/AF Interface

Version 2.0

1. 系统架构¶

ISP除主要核心外，另外可外挂3A算法模块。用户可自行开发AWB/AE/AF算法库透过注册AWB/AE/AF Interface 与ISP连结。

在ISP工作时期用户已注册的算法会被调用，用户端算法必须提供对应的计算结果。最后CUS3A框架会将计算结果写回ISP以及Sensor。

此架构下用户端算法只需专注在算法的输入与输出计算上，不须处理系统整合相关问题。

2. AE/AWB运作流程¶

在ISP工作时期用户已注册的算法会被调用，用户端算法必须提供对应的计算结果。最后CUS3A框架会将计算结果写回ISP以及Sensor。

流程图中红色字体为算法必须提供的callback function。

3. AE/AWB STATISTIC FORMAT¶

AE/AWB统计值在程序代码中定义如下，每张影像均会产生128*90笔取样数据。

在Macaron, Pudding中，AE统计值，每张影像只会产生32*32笔取样数据。

#define isp_3A_ROW  (128)   /**< number of 3A statistic blocks in a row */
#define isp_3A_COL  (90)    /**< number of 3A statistic blocks in a column */ @brief Single AE HW statistics data*/
typedef struct
{
    U8  r;  /**< block pixel R average , 0~255*/
    U8  g;  /**< block pixel G average , 0~255, g=(Gr+Gb+1)>>1*/
    U8  b;  /**< block pixel B average , 0~255*/
    U8  y;  /**< block pixel Y average , 0~255, /
            y=(Ravg*9 +Gavg*19 +Bavg*4 + 16)>>5 */
}__attribute__((packed, aligned(1))) ISP_AE_SAMPLE;

/*! @brief Single AWB HW statistics data*/
typedef struct
{
    U8  r;  /**<center pixel R value , 0~255    */
    U8  g;  /**<center pixel G value , 0~255    */
    U8  b;  /**<center pixel B value , 0~255    */
}__attribute__((packed, aligned(1))) ISP_AWB_SAMPLE;

ISP会在每次Frame End将AE/AWB统计值传给算法端，数据排列方式如下表。ISP将影像切为isp_3A_ROW x isp_3A_COL 区域，并计算每个区域统计值填入

ISP_AWB_INFO::data[isp_3A_ROW*isp_3A_COL]

ISP_AE_INFO::data[isp_3A_ROW*isp_3A_COL]

针对RGB-IR sensor，硬件会额外抽出，IR信息的histogram，供AE参考使用

#define _3A_IR_HIST_BIN  (256)   /**< histogram type2 resolution*/

typedef struct
{
    u16 u2IRHist[_3A_IR_HIST_BIN];
} ____attribute__((packed, aligned(1))) ISP_IR_HISTX;

4. AF STATISTIC FORMAT¶

设置AF统计window (ISP_AF_RECT)，提供16*n (n = 1~16) 个window可供设置 (af_stats_win[16])，每祯会将统计结果output，output结构如ISP_AF_STATS，每个Window会output 6种filter的统计值。

各filter bit数表示如下

Filter Bit & Chip Type	Twinkie	Pretzel	Macaron/Pudding
IIR / Sobel	34	35	35
Luma	34	32	32
YSat	24	22	22

AF ROI Mode = AF_ROI_MODE_NORMAL: 只看CusAFStats_t.stParaAPI[0]

AF ROI Mode = AF_ROI_MODE_MATRIX: 可看CusAFStats_t.stParaAPI[0~15]

typedef struct {
    MI_U32 u32StartX;   /*range : 0~1023*/
    MI_U32 u32StartY;   /*range : 0~1023*/
    MI_U32 u32EndX;     /*range : 0~1023*/
    MI_U32 u32EndY;     /*range : 0~1023*/
} AF_WINDOW_PARAM_t;

typedef struct {
    MI_U8 u8WindowIndex;
    AF_WINDOW_PARAM_t stParaAPI;
} CusAFWin_t;

//for Tiramisu
typedef struct{
    MI_U8 high_iir[5*16];
    MI_U8 low_iir[5*16];
    MI_U8 luma[4*16];
    MI_U8 sobel_v[5*16];
    MI_U8 sobel_h[5*16];
    MI_U8 ysat[3*16];
} AF_STATS_PARAM_t ;

typedef struct{
    AF_STATS_PARAM_t stParaAPI[16];
} CusAFStats_t;

4.1. 各AF Filter说明¶

参数名称	描述	输出/输入
IIR_1	分区间统计的AF 水平方向IIR滤波器统计值	输出
IIR_2	分区间统计的AF 水平方向IIR滤波器统计值	输出
Luma	分区间统计的AF 亮度统计值	输出
FIR_H	分区间统计的AF 水平方向FIR滤波器统计值	输出
FIR_V	分区间统计的AF 垂直方向FIR滤波器统计值	输出
YSat	分区间统计的 AF 大于YThd的统计值个数	输出

数据范例:

一般场景远焦:

一般场景近焦:

低亮度场景远焦:

低亮度场景远焦+灯源:

高亮场景，使用IIR结果

低照场景，使用IIR结果

4.2. AF API概述¶

AF统计值，各API影响顺序：

Bayer影像输入，先透过Source设定，来选择影像来源的位置，再藉由YParam，转为亮度域(Y)的数值，然后经过YMap (gamma) 后，对数值做PreFilter去躁，进入IIR/FIR Filter统计，然后针对不同亮度区间，调整统计值输出的比例，最后由FilterSq做二次方的行为，输出统计值。

5. AE RESULT¶

当ISP呼叫AE算法run()后，AE算法必须提供相对应的结果给ISP，格式如下。

/*! @brief ISP ae algorithm result*/
typedef struct
{
    U32 Size;       /**< struct size*/
    U32 Change;    /**< if true, apply this result to hw register*/
    U32 Shutter;    /**< Shutter in us */
    U32 SensorGain; /**< Sensor gain, 1X = 1024 */
    U32 IspGain;    /**< ISP gain, 1X = 1024 */
    U32 ShutterHdrShort;    /**< Shutter in us */
    U32 SensorGainHdrShort; /**< Sensor gain, 1X = 1024 */
    U32 IspGainHdrShort;    /**< ISP gain, 1X = 1024 */
    U32 u4BVx16384; /**< Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv */
    U32 AvgY;       /**< frame brightness */
    U32 HdrRatio;   /**< hdr ratio, 1X = 1024 */

/*CUS3A v1.1*/
U32 FNx10;           /**< F number * 10 */
U32 DebandFPS;      /**< Target fps when running auto debanding*/
U32 WeightY;        /**< frame brightness with ROI weight*/

/*CUS3A v1.3*/
U16 GMBlendRatio;  /**< Adaptive Gamma Blending Ratio from AE**/
}ISP_AE_RESULT;

Size : ISP_AE_RESULT长度，用于处理版本向下兼容问题。

Change: 若该值为1，ISP将此次设定值写入硬件，若为0 ISP会忽略此次的结果。

Shutter: 设定Sensor曝光时间。

SensorGain: 设定Sensor gain，Digital/Analog gain分配率由Sensor驱动决定。

IspGain: 设定ISP digital gain。

ShutterHdrShort: 设定短曝Sensor曝光时间。

SensorGainHdrShort: 设定短曝Sensor gain，Digital/Analog gain分配率由Sensor驱动决定。

IspGainHdrShort: 设定短曝ISP digital gain。

u4BVx16384: 目前场景的亮度值，此处计算公式比照APEX。此设定值将会被IQ算法参考。

AvgY：此张影像的平均灰阶亮度，此设定值将会被IQ算法参考。

HdrRatio：此张影像的HDR长短曝比例，此设定值将会被IQ算法参考。

Fnx10: 设定FN Number

DebandFPS: 设定FPS

WeightY: 此张影像经过ROI weighting的平均灰阶亮度，此设定值将会被IQ算法参考。

GMBlendRatio: 当IQ的AdaptiveGamma及RGBGamma皆enable才有作用，IQ会根据此ratio去做AdaptiveGamma和RGBGamma的混和. 请参考下图。值域1~1025，513代表直接使用RGBGamma不做混和。

6. AWB RESULT¶

当ISP呼叫AWB算法run()后，AWB算法必须提供相对应的结果给ISP，格式如下。

/*! @brief AWB algorithm result*/
typedef struct
{
    U32 Size;       /**< struct size*/
    U32 Change;    /**< if true, apply this result to hw register*/
    U32 R_gain;     /**< AWB gain for R channel*/
    U32 G_gain;     /**< AWB gain for G channel*/
    U32 B_gain;     /**< AWB gain for B channel*/
    U32 ColorTmp;   /**< Return color temperature*/
}ISP_AWB_RESULT;

Size : ISP_AWB_RESULT长度，用于处理版本向下兼容问题。

Change: 若该值为1，ISP将此次设定值写入硬件，若为0，ISP会忽略此次的结果。

R_gain: R channel增益。

G_gain: G channel增益。

B_gain: B channel增益。

ColorTmp: 目前场景色温。

7. AF RESULT¶

当ISP呼叫AF算法run()后，AF算法必须提供相对应的结果给ISP，格式如下。

/*! @brief AF algorithm result*/
typedef struct
{
    u32 Size;       /**< struct size*/
    u32 Change;     /**< if true, apply this result to hw*/
    u32 NextPos;    /**< Next position*/
} ISP_AF_RESULT;

Change: 若该值为1，通知AF演算出的焦距(NextPos)生效。

NextPos: AF算法算出的焦距结果。

8. AE, AWB, AF库界面¶

int CUS3A_RegInterfaceEX(CUS3A_ISP_DEV_e eDev, IspCh_e eIspCh, AlgoAdaptor eAdaptor, IspAlgoType eAlgoType, void* pAlgo)

说明

用户AE, AWB, AF库注册接口

参数

参数名称	描述	输出/输入
eIspCh	指定算法对应的ISP channel	输入
eDev	指定算法对应的ISP硬件	输入
eAdaptor	指定算法对应的 AlgoAdaptor 目前只支持用户端使用E_ALGO_ADAPTOR_1	输入
eAlgoType	指定算法类型 E_ALGO_TYPE_AE , E_ALGO_TYPE_AWB, E_ALGO_TYPE_AF	输入
pAlgo	算法实作端提供库指针，若不需实作算法，则填NULL pAlgo型态对应eAlgoType设定值 E_ALGO_TYPE_AE : pAlgo = ISP_AE_INTERFACE* E_ALGO_TYPE_AWB : pAlgo = ISP_AWB_INTERFACE* E_ALGO_TYPE_AF : pAlgo = ISP_AF_INTERFACE*	输入

返回值

返回值	描述
0	注册成功
<0	注册失败

nt CUS3A_SetAlgoAdaptor(CUS3A_ISP_DEV_e eDev, IspCh_e eIspCh, AlgoAdaptor eAdaptor,  IspAlgoType eAlgoType)

说明

在已注册的算法间进行切换。

参数

参数名称	描述	输出/输入
eDev	指定算法对应的ISP硬件	输入
eIspCh	指定算法切换的ISP channel	输入
eAdaptor	指定算法切换的 AlgoAdaptor E_ALGO_ADAPTOR_NATIVE: SStar 3A E_ALGO_ADAPTOR_1 : 用户端3A	输入
eAlgoType	指定算法类型 E_ALGO_TYPE_AE , E_ALGO_TYPE_AWB, E_ALGO_TYPE_AF	输入

返回值

返回值描述

0 切换成功

<0 切换失败

举例

/*ISP0 AE -> SStarAE*/
CUS3A_SetAlgoAdaptor(eIspCh0, eAdapNative, eAlgoAE) 
/*ISP0 AWB -> Customer AWB*/
CUS3A_SetAlgoAdaptor(eIspCh0, eAdap1, eAlgoAWB)
/*ISP0 AF -> Customer AF */
CUS3A_SetAlgoAdaptor(eIspCh0, eAdap1, eAlgoAF)

int CUS3A_RegInterface(U32 nCh, ISP_AE_INTERFACE *pAe, ISP_AWB_INTERFACE *pAwb, ISP_AF_INTERFACE *pAf)

int CUS3A_AERegInterface(u32 nCh,ISP_AE_INTERFACE *pAE);
int CUS3A_AWBRegInterface(u32 nCh,ISP_AWB_INTERFACE *pAWB);
int CUS3A_AFRegInterface(u32 nCh,ISP_AF_INTERFACE *pAF);

CUS3A_RegInterface , CUS3A_AERegInterface, CUS3A_AWBRegInterface, CUS3A_AFRegInterface 不建议使用，请以CUS3A_RegInterfaceEX取代。

说明

ISP提供AE, AWB, AF库注册接口，可使用*CUS3A_RegInterface*一次注册AE, AWB, AF；或使用*CUS3A_AERegInterface、CUS3A_AWBRegInterface、CUS3A_AFRegInterface*来分别注册AE, AWB, AF。

参数

参数名称	描述	输出/输入
nCh	nCh = 0	输入
pAe	算法实作端提供AE库指针，若不需注册，则填NULL	输入
pAwb	算法实作端提供AWB库指针，若不需注册，则填NULL	输入
pAf	算法实作端提供AF库指针，若不需注册，则填NULL	输入

返回值

返回值描述

0 注册成功

<0 注册失败

9. AE回调界面¶

int (*init)(void* pdata,ISP_AE_INIT_PARAM *init_state)

说明

ISP透过此接口通知AE库进行初始化
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

init_state AE初始值输入
返回值

返回值描述

0 初始化成功

-1 初始化失败
```
void (*release)(void* pdata)
```
说明

ISP透过此接口通知AE库进行释放程序

参数

参数名称	描述	输出/输入
pdata	算法私有数据指针	输入

void (*run)(void* pdata,const ISP_AE_INFO *info,ISP_AE_RESULT *result)

说明

ISP透过此接口呼叫AE库进行运算
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

info ISP AE统计值数据结构指针输入

result ISP AE计算结果数据结构指针输出
```
int (*ctrl)(void* pdata,ISP_AE_CTRL_CMD cmd,void* param)
```
说明

ISP透过此接口控制AE参数
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

cmd AE控制指令输入

param AE控制指令参数输入

10. AE数据结构¶

10.1. ISP_AE_INTERFACE¶

说明

AE库注册结构体，算法需实作并且填写init,release,run,ctrl回调指针，供ISP 呼叫。

宣告

/**@brief ISP AE interface*/
typedef struct
{
    void *pdata; /**< Private data for AE algorithm.*/
    int (*init)(void* pdata, ISP_AE_INIT_PARAM *init_state);
    void (*release)(void* pdata);
    void (*run)(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result);
    int (*ctrl)(void* pdata, ISP_AE_CTRL_CMD cmd, void* param);
} ISP_AE_INTERFACE;

成员

名称	描述
pdata	AE库私有数据指针
init	AE库初始化回调指标
release	AE库释放回调指针
run	AE库计算回调指标，当ISP收到一侦影像统计值时，透过该指针要求AE算法进行计算。
ctrl	AE库控制回调指标

10.2. ISP_AE_INIT_PARAM¶

说明

ISP透过此结构，告知AE算法相关硬件初始状态

宣告

typedef struct
{
    U32 Size;                   /**< struct size*/
    char sensor_id[32];             /**< sensor module id*/
    U32 shutter;                /**< shutter Shutter in us*/
    U32 shutter_step;           /**< shutter Shutter step ns*/
    U32 shutter_min;            /**< shutter Shutter min us*/
    U32 shutter_max;            /**< shutter Shutter max us*/
    U32 sensor_gain;            /**< sensor_gain Sensor gain, 1X = 1024*/
    U32 sensor_gain_min;        /**< sensor_gain_min Minimum Sensor gain, 1X = 1024*/
    U32 sensor_gain_max;        /**< sensor_gain_max Maximum Sensor gain, 1X = 1024*/
    U32 isp_gain;               /**< isp_gain Isp digital gain , 1X = 1024 */
    U32 isp_gain_max;           /**< isp_gain Maximum Isp digital gain , 1X = 1024 */
    U32 FNx10;                  /**< F number * 10*/
    U32 fps;                    /**< initial frame per second*/
    U32 shutterHDRShort_step;           /**< shutter Shutter step ns*/
    U32 shutterHDRShort_min;            /**< shutter Shutter min us*/
    U32 shutterHDRShort_max;            /**< shutter Shutter max us*/
    U32 sensor_gainHDRShort_min;        /**< sensor_gain_min Minimum Sensor gain, 1X = 1024*/
    U32 sensor_gainHDRShort_max;        /**< sensor_gain_max Maximum Sensor gain, 1X = 1024*/

    /*CUS3A v1.1*/
    U32 AvgBlkX;                  /**< HW statistics average block number*/
    U32 AvgBlkY;                  /**< HW statistics average block number*/
}ISP_AE_INIT_PARAM;

成员

参数名称	描述	输出/输入
Size	ISP_AE_INIT_PARAM结构长度	输入
sensor_id[32]	Image sensor名称	输入
shutter	曝光时间初始值 us	输入
shutter_step	曝光时间步距 ns	输入
shutter_min	最小曝光时间 us	输入
shutter_max	最长曝光时间 us	输入
sensor_gain	Sensor增益初始值	输入
sensor_gain_min	Sensor增益最小值	输入
sensor_gain_max	Sensor增益最大值	输入
isp_gain	Isp增益初始值	输入
isp_gain_max	Isp增益最大值	输入
FNx10	光圈值*10	输入
fps	每秒影像侦数	输入
shutterHDRShort_step	HDR短曝，曝光时间步距 ns	输入
shutterHDRShort_min	HDR短曝，最小曝光时间 us	输入
shutterHDRShort_max	HDR短曝，最长曝光时间 us	输入
sensor_gainHDRShort_min	HDR短曝，Sensor增益最小值	输入
sensor_gainHDRShort_max	HDR短曝，Sensor增益最大值	输入
AvgBlkX	AE统计值横向切割数量	输入
AvgBlkY	AE统计值纵向切割数量	输入

10.3. ISP_AE_INFO¶

说明

ISP AE 硬件统计值

宣告

/*! @brief ISP report to AE, hardware statistic */
typedef struct
{
    U32 Size;       /**< struct size*/
    ISP_HIST  *hist1;   /**< HW statistic histogram 1*/
    ISP_HIST  *hist2;   /**< HW statistic histogram 2*/
    U32 AvgBlkX;  /**< HW statistics average block number*/
    U32 AvgBlkY;  /**< HW statistics average block number*/
    ISP_AE_SAMPLE *avgs; /**< HW statistics average block data*/
    U32 Shutter;                    /**< Current shutter in us*/
    U32 SensorGain;                 /**< Current Sensor gain, 1X = 1024 */
    U32 IspGain;                    /**< Current ISP gain, 1X = 1024*/
    U32 ShutterHDRShort;           /**< Current shutter in us*/
    U32 SensorGainHDRShort;        /**< Current Sensor gain, 1X = 1024 */
    U32 IspGainHDRShort;           /**< Current ISP gain, 1X = 1024*/

    /*CUS3A v1.1*/
    U32 PreAvgY;           /**< Previous frame brightness */
    U32 HDRCtlMode;        /**< 0 = HDR off;*/
   /**< 1 = Separate shutter & Separate sensor gain settings*/
   /**< 2 = Separate shutter & Share sensor gain settings*/
   /**< 3 = Share shutter & Separate sensor gain settings*/
    U32 FNx10;             /**< Aperture in FNx10 */
    U32 CurFPS;            /**< Current sensor FPS */
    U32 PreWeightY;        /**< Previous frame brightness with ROI weight */

    /*CUS3A v1.2*/
    ISP_IR_HISTX *histIR;           /**< HW statistic histogram IR*/
    ISP_HISTX *hist1_short;           /**< HW statistic histogram 1 for HDR short frame*/
    ISP_HISTX *hist2_short;           /**< HW statistic histogram 2 for HDR short frame*/
} ISP_AE_INFO;

成员

参数名称	描述	输出/输入
Size	ISP_AE_INFO结构长度	输入
hist1	Histogram 1	输入
hist2	Histogram 2 (暂不支持)	输入
AvgBlkX	横向切割数量	输入
AvgBlkY	纵向切割数量	输入
avgs	区块亮度统计值	输入
Shutter	统计值发生时的曝光时间 us	输入
SensorGain	统计值发生时的Sensor Gain 1X=1024	输入
IspGain	统计值发生时的Isp Gain 1X=1024	输入
ShutterHDRShort	统计值发生时的曝光时间 us (HDR short)	输入
SensorGainHDRShort	统计值发生时的Sensor Gain 1X=1024 (HDR short)	输入
IspGainHDRShort	统计值发生时的Isp Gain 1X=1024 (HDR short)	输入
PreAvgY	上一次AE结果的平均亮度 8bit*10	输入
HDRCtlMode	HDR mode时，sensor回传该sensor对于shutter/gain所支持的格式	输入
FNx10	统计值发生时的FN	输入
CurFPS	当前FPS	输入
PreWeightY	上一次AE经过ROI weighting的平均亮度 8bit*10	输入
histIR	RGB-IR sensor时，IR信息的histogram	输入
IRLightStr	当前IR补光照明强度 0(关闭) ~ 100(最大强度)	输入
hist1_short	HDR短曝的Histogram 1	输入
hist2_short	HDR短曝的Histogram 2 (目前尚不支持)	输入

10.4. ISP_AE_RESULT¶

说明

ISP AE 算法计算结果

宣告

/*! @brief ISP ae algorithm result*/
typedef struct
{
    U32 Size;           /**< struct size*/
    U32 Change;       /**< if true, apply this result to hw register*/
    U32 Shutter;         /**< Shutter in us */
    U32 SensorGain;      /**< Sensor gain, 1X = 1024 */
    U32 IspGain;         /**< ISP gain, 1X = 1024 */
    U32 ShutterHdrShort;     /**< Shutter in us */
    U32 SensorGainHdrShort;  /**< Sensor gain, 1X = 1024 */
    U32 IspGainHdrShort;     /**< ISP gain, 1X = 1024 */
    U32 u4BVx16384;      /**< Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv */
    U32 AvgY;       /**< frame brightness */
    U32 HdrRatio;   /**< hdr ratio, 1X = 1024 */

    /*CUS3A v1.1*/
    U32 FNx10;           /**< F number * 10 */
    U32 DebandFPS;      /**< Target fps when running auto debanding*/
    U32 WeightY;        /**< frame brightness with ROI weight*/

    /*CUS3A v1.3*/
    U16 GMBlendRatio;   /**< Adaptive Gamma Blending Ratio from AE**/
}ISP_AE_RESULT;

成员

参数名称	描述	输出/输入
Size	ISP_AE_RESULT结构长度	输入
Change	通知ISP此次计算结果是否要套用到硬件	输出
Shutter	AE算法回报曝光时间us	输出
SensorGain	AE算法回报Sensor增益 1X=1024	输出
IspGain	AE算法回报ISP增益 1X=1024	输出
ShutterHdrShort	AE算法回报曝光时间us (HDR Short)	输出
SensorGainHdrShort	AE算法回报Sensor增益 1X=1024 (HDR Short)	输出
IspGainHdrShort	AE算法回报ISP增益 1X=1024 (HDR Short)	输出
u4Bvx16384	AE算法回报目前场景亮度估测值	输出
AvgY	AE算法回报目前影像平均亮度	输出
HdrRatio	AE算法回报目前影像HDR长短曝比例1x=1024	输出
FNx10	AE算法回报目前影像FN Number	输出
DebandFPS	AE算法回报目前影像FPS	输出
WeightY	AE算法回报目前影像经过ROI weighting的平均亮度	输出
GMBlendRatio	AE算法控制IQ AdaptiveGamma与RGBGamma的混和比例，值域1~1025，513代表直接使用RGBGamma不做混和	输出

10.5. ISP_AE_CTRL_CMD¶

说明

AE控制指令，ISP透过回调接口
```
int (*ctrl)(void* pdata,ISP_AE_CTRL_CMD cmd,void* param)
```
设定AE参数，参数param型态随不同的控制命令改变。

宣告

typedef enum
{
    ISP_AE_FPS_SET, /**< ISP notify AE sensor FPS has changed*/
}ISP_AE_CTRL_CMD;

成员

名称描述参数型态

ISP_AE_FPS_SET ISP通知AE库目前的FPS更动 U32

11. AWB回调界面¶

int (*init)(void* pdata)

说明

ISP透过此接口通AWB库进行初始化
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入
返回值

返回值描述

0 初始化成功

-1 初始化失败
```
void (*release)(void* pdata)
```
说明

ISP透过此接口通知AWB库进行释放程序

参数

参数名称	描述	输出/输入
pdata	算法私有数据指针	输入

void (*run)(void* pdata,const ISP_AWB_INFO *awb_info,const ISP_AE_INFO *ae_info,ISP_AWB_RESULT *result)

说明

ISP透过此接口呼叫AWB库进行运算

参数

参数名称	描述	输出/输入
pdata	算法私有数据指针	输入
awb_info	ISP AWB统计值数据结构指针	输入
ae_info	ISP AE统计值数据结构指针	输入
result	ISP AWB计算结果数据结构指针	输出

int (*ctrl)(void* pdata,ISP_AWB_CTRL_CMD cmd,void* param)

说明

ISP透过此接口控制AWB参数
返回值

返回值描述

0 控制指令成功

<0 注册失败
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

cmd AWB控制指令输入

param AWB控制指令参数输入

12. AWB数据结构¶

12.1. ISP_AWB_INTERFACE¶

说明

AWB库注册结构体，算法需实作并且填写init,release,run,ctrl回调指针，供ISP 呼叫。

宣告

typedef struct
{
    void *pdata; /**< Private data for AE algorithm.*/
    int (*init)(void *pdata);
    void (*release)(void *pdata);
    void (*run)(void *pdata, const ISP_AWB_INFO *awb_info, const ISP_AE_INFO *ae_info, ISP_AWB_RESULT *result);
    int (*ctrl)(void *pdata, ISP_AWB_CTRL_CMD cmd, void* param);
} ISP_AWB_INTERFACE

成员

名称	描述
pdata	AWB库私有数据指针
init	AWB库初始化回调指标
release	AWB库释放回调指针
run	AWB库计算回调指标，当ISP收到一侦影像统计值时，透过该指针要求AWB算法进行计算。
ctrl	AWB库控制回调指标

12.2. ISP_AWB_INFO¶

说明

ISP AWB 硬件统计值

宣告

/*! @brief AWB HW statistics data*/
typedef struct
{
    U32 AvgBlkX;
    U32 AvgBlkY;
    U32 CurRGain;
    U32 CurGGain;
    U32 CurBGain;
    void *avgs;

    /*CUS3A v1.1*/
    U8 HDRMode;       /**< Noramal or HDR mode */
    void* pAwbStatisShort;      /**< Short Shutter AWB statistic data*/
    U32 u4BVx16384;    /**< From AE output, Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv  */
    S32 WeightY;       /**< frame brightness with ROI weight0 */
}__attribute__((packed, aligned(1))) ISP_AWB_INFO;

成员

参数名称	描述	输出/输入
AvgBlkX	横向切割数量	输入
AvgBlkY	纵向切割数量	输入
CurRGain	反应在目前影像的AWB Gain	输入
CurGGain	反应在目前影像的AWB Gain	输入
CurBGain	反应在目前影像的AWB Gain	输入
avgs	ISP AWB区块RGB统计值	输入
HDRMode	目前影像是否为HDR mode	输入
pAwbStatisShort	ISP AWB区块RGB统计值 (HDR mode下的短曝信息)	输入
U4BVx16384	AE回传的BV信息	输入
WeightY	AE回传的ROI weighting的平均亮度	输入

12.3. ISP_AWB_RESULT¶

说明

ISP AWB 算法计算结果

宣告

/*! @brief AWB algorithm result*/
typedef struct
{
U32 Size;       /**< struct size*/
U32 Change;    /**< if true, apply this result to hw register*/
    U32 R_gain;     /**< AWB gain for R channel*/
    U32 G_gain;     /**< AWB gain for G channel*/
    U32 B_gain;     /**< AWB gain for B channel*/
    U32 ColorTmp;   /**< Return color temperature*/
} ISP_AWB_RESULT;

成员

参数名称	描述	输出/输入
Size	ISP_AWB_RESULT结构长度	输入
Change	通知ISP此次计算结果是否要套用到硬件	输出
R_gain	AWB算法回报AWB R增益1X = 1024	输出
G_gain	AWB算法回报AWB G增益1X = 1024	输出
B_gain	AWB算法回报AWB B增益1X = 1024	输出
ColorTmp	AWB算法回报目前场景色温K	输出

12.4. ISP_AWB_CTRL_CMD¶

说明

AWB控制指令，ISP透过回调接口
```
int (*ctrl)(void* pdata,ISP_AWB_CTRL_CMD cmd,void* param)
```
设定AE参数，参数param型态随不同的控制命令改变。

宣告

typedef enum
{
    ISP_AWB_MODE_SET,
}ISP_AWB_CTRL_CMD;

成员

名称描述参数型态

ISP_AWB_MODE_SET ISP通知AWB库目前的AWB模式更动 U32

13. AF回调界面¶

int (*init)(void* pdata, ISP_AF_INIT_PARAM *param)

说明

ISP透过此接口通AF库进行初始化
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

param AF初始设定输入/出
返回值

返回值描述

0 初始化成功

-1 初始化失败
```
void (*release)(void* pdata)
```
说明

ISP透过此接口通知AF库进行释放程序

参数

参数名称	描述	输出/输入
pdata	算法私有数据指针	输入

void (*run)(void* pdata,const ISP_AF_INFO *af_info ,ISP_AF_RESULT *result)

说明

ISP透过此接口呼叫AF库进行运算
参数

参数名称描述输出/输入

pdata 算法私有数据指针输入

af_info ISP AF统计值数据结构指针输入

result ISP AF计算结果数据结构指针输出
```
int (*ctrl)(void* pdata,ISP_AF_CTRL_CMD cmd,void* param) (Reserved)
```
说明

ISP透过此接口控制AF参数
返回值

返回值描述

0 控制指令成功

<0 注册失败
参数

参数名称描述输出/输入

pdata 算法私有数据指针 (Reserved) 输入

cmd AF控制指令 (Reserved) 输入

param AF控制指令参数 (Reserved) 输入

14. AF数据结构¶

14.1. ISP_AF_INTERFACE¶

说明

AF库注册结构体，算法需实作并且填写init,release,run,ctrl回调指针，供ISP 呼叫。

宣告

typedef struct isp_af_interface
{
    void *pdata; /**< Private data for AF algorithm.*/
    int (*init)(void *pdata, ISP_AF_INIT_PARAM *param);   
void (*release)(void *pdata);
    void (*run)(void *pdata,const ISP_AF_INFO *af_info, ISP_AF_RESULT *result);
    int (*ctrl)(void *pdata,ISP_AF_CTRL_CMD cmd,void* param);
}ISP_AF_INTERFACE;

成员

名称	描述
pdata	AF库私有数据指针
init	AF库初始化回调指标
release	AF库释放回调指针
run	AF库计算回调指标，当ISP收到一侦影像统计值时，透过该指针要求AF算法进行计算。
ctrl	AF库控制回调指标

14.2. ISP_AF_INIT_PARAM¶

说明

ISP透过此结构，告知AF算法相关硬件初始状态

宣告

typedef struct _isp_af_init_param
{
    u32 Size; /**< struct size*/
    ISP_AF_RECT af_stats_win[16];
    /**< CUS3A v1.3*/
    u32 CurPos; //motor current position
    u32 MinPos; //motor down position limit
    u32 MaxPos; //motor up position limit
    u32 MinStep;//motor minimum step
    u32 MaxStep;//motor maximum step
} ISP_AF_INIT_PARAM;

成员

参数名称	描述	输出/输入
Size	ISP_AF_INIT_PARAM结构长度	输入
Af_stats_win[16]	当前AF windows 设定值	输入
CurPos	当前AF电机位置	输入
MinPos	AF电机下极限位置	输入
MaxPos	AF电机上极限位置	输入
MinStep	AF电机最小步阶	输入
MaxStep	AF电机最大步阶

14.3. ISP_AF_INFO¶

说明

ISP AF 硬件统计值

宣告

/*! @brief AF HW statistics data*/
typedef struct
{
    U32 Size;       /**< struct size*/
    ISP_AF_STATS pStats; /**< AF statistic*/
    u32 CurPos;     /**<motor current position*/
    u32 MinPos;     /**<motor down position limit*/
u32 MaxPos;     /**<motor up position limit*/
}ISP_AF_INFO;

成员

参数名称	描述	输出/输入
Size	ISP_AF_INFO数据结构长度	输入
pStats	ISP AF统计值	输出
CurPos	当前AF电机位置	输入
MinPos	AF电机下极限位置	输入
MaxPos	AF电机上极限位置	输入

14.4. ISP_AF_STATS¶

说明

ISP AF 硬件统计值

宣告

//for Tiramisu
typedef struct{
    MI_U8 high_iir[5*16];
    MI_U8 low_iir[5*16];
    MI_U8 luma[4*16];
    MI_U8 sobel_v[5*16];
    MI_U8 sobel_h[5*16];
    MI_U8 ysat[3*16];
} AF_STATS_PARAM_t ;

typedef struct{
    AF_STATS_PARAM_t stParaAPI[16];
} CusAFStats_t;

成员

参数名称	描述	输出/输入
IIR_1	分区间统计的AF 水平方向IIR滤波器统计值	输出
IIR_2	分区间统计的AF 水平方向IIR滤波器统计值	输出
Luma	分区间统计的AF 亮度统计值	输出
FIR_h	分区间统计的AF 水平方向FIR滤波器统计值	输出
FIR_v	分区间统计的AF 垂直方向FIR滤波器统计值	输出
YSat	分区间统计的AF 大于YThd的统计值个数	输出

IIR_1 default 为 IIR high，IIR_2 default 为 IIR low。
IIR FIR数值越高代表画面就越清晰。Luma表示亮度。

使用参考

区间加权权重: 建议”中央权重”。

统计值: 建议常时使用IIR_2 (IIR Low)。IIR_1 (IIR High) 在清晰时会有明显变化，但模糊时几乎不变动，适合做最清晰位置判断。FIR会有偏性，仅适合做强度变化参考。

14.5. ISP_AF_RESULT¶

说明

ISP AF 算法计算结果

宣告

/*! @brief AF algorithm result*/
typedef struct
{
    u32 Size;     /**< struct size*/
    u32 Change;   /**< if true, apply this result to hw*/
    u32 NextPos;  /**< Next position*/

} ISP_AF_RESULT;

成员

参数名称描述输出/输入

Change 通知ISP此次计算结果是否要套用到硬件输出

NextPos AF电机目标位置输出

15. SAMPLE CODE¶

#include <mi_isp.h>

//// AE INTERFACE TEST ////

int ae_init(void* pdata, ISP_AE_INIT_PARAM *init_state)
{
    printf("****** ae_init ,shutter=%d,shutter_step=%d,sensor_gain_min=%d,sensor_gain_max=%d *******\n",
        (int)init_state->shutter,
        (int)init_state->shutter_step,
        (int)init_state->sensor_gain,
        (int)init_state->sensor_gain_max
        );
    return 0;
}

void ae_run(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result)
{
#define log_info 1

    // Only one can be chosen (the following three define)
#define shutter_test 0
#define gain_test 0
#define AE_sample 1

#if (shutter_test) || (gain_test)
    static int AE_period = 4;
#endif
    static unsigned int fcount = 0;
    unsigned int max = info->AvgBlkY * info->AvgBlkX;
    unsigned int avg = 0;
    unsigned int n;
#if gain_test
    static int tmp = 0;
    static int tmp1 = 0;
#endif

    result->Change              = 0;
    result->u4BVx16384          = 16384;
    result->HdrRatio            = 10; //infinity5 //TBD //10 * 1024;   //user define hdr exposure ratio
    result->IspGain             = 1024;
    result->SensorGain          = 4096;
    result->Shutter             = 20000;
    result->IspGainHdrShort     = 1024;
    result->SensorGainHdrShort  = 1024;
    result->ShutterHdrShort     = 1000;
    //result->Size         = sizeof(CusAEResult_t);

    for(n = 0; n < max; ++n)
    {
        avg += info->avgs[n].y;
    }
    avg /= max;

    result->AvgY         = avg;

#if shutter_test // shutter test under constant sensor gain
    int Shutter_Step = 100; //per frame
    int Shutter_Max = 33333;
    int Shutter_Min = 150;
    int Gain_Constant = 10240;

    result->SensorGain = Gain_Constant;
    result->Shutter = info->Shutter;

    if(++fcount % AE_period == 0)
    {
        if (tmp == 0)
        {
            result->Shutter = info->Shutter + Shutter_Step * AE_period;
            //printf("[shutter-up] result->Shutter = %d \n", result->SensorGain);
        }
        else
        {
            result->Shutter = info->Shutter - Shutter_Step * AE_period;
            //printf("[shutter-down] result->Shutter = %d \n", result->SensorGain);
        }
        if (result->Shutter >= Shutter_Max)
        {
            result->Shutter = Shutter_Max;
            tmp = 1;
        }
        if (result->Shutter <= Shutter_Min)
        {
            result->Shutter = Shutter_Min;
            tmp = 0;
        }
    }
#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("tmp = %d, Shutter: %d -> %d \n", tmp, info->Shutter, result->Shutter);
#endif
#endif

#if gain_test // gain test under constant shutter
    int Gain_Step = 1024; //per frame
    int Gain_Max = 1024 * 100;
    int Gain_Min = 1024 * 2;
    int Shutter_Constant = 20000;

    result->SensorGain = info->SensorGain;
    result->Shutter = Shutter_Constant;

    if(++fcount % AE_period == 0)
    {
        if (tmp1 == 0)
        {
            result->SensorGain = info->SensorGain + Gain_Step * AE_period;
            //printf("[gain-up] result->SensorGain = %d \n", result->SensorGain);
        }
        else
        {
            result->SensorGain = info->SensorGain - Gain_Step * AE_period;
            //printf("[gain-down] result->SensorGain = %d \n", result->SensorGain);
        }
        if (result->SensorGain >= Gain_Max)
        {
            result->SensorGain = Gain_Max;
            tmp1 = 1;
        }
        if (result->SensorGain <= Gain_Min)
        {
            result->SensorGain = Gain_Min;
            tmp1 = 0;
        }
    }
#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("tmp = %d, SensorGain: %d -> %d \n", tmp, info->SensorGain, result->SensorGain);
#endif
#endif

#if AE_sample
    int y_lower = 0x28;
    int y_upper = 0x38;
    int change_ratio = 10; // percentage
    int Gain_Min = 1024 * 2;
    int Gain_Max = 1024 * 1000;
    int Shutter_Min = 150;
    int Shutter_Max = 33333;

    result->SensorGain = info->SensorGain;
    result->Shutter = info->Shutter;

    if(avg < y_lower)
    {
        if (info->Shutter < Shutter_Max)
        {
            result->Shutter = info->Shutter + (info->Shutter * change_ratio / 100);
            if (result->Shutter > Shutter_Max) result->Shutter = Shutter_Max;
        }
        else
        {
            result->SensorGain = info->SensorGain + (info->SensorGain * change_ratio / 100);
            if (result->SensorGain > Gain_Max) result->SensorGain = Gain_Max;
        }
        result->Change = 1;
    }
    else if(avg > y_upper)
    {
        if (info->SensorGain > Gain_Min)
        {
            result->SensorGain = info->SensorGain - (info->SensorGain * change_ratio / 100);
            if (result->SensorGain < Gain_Min) result->SensorGain = Gain_Min;
        }
        else
        {
            result->Shutter = info->Shutter - (info->Shutter * change_ratio / 100);
            if (result->Shutter < Shutter_Min) result->Shutter = Shutter_Min;
        }
        result->Change = 1;
    }

#if 0 //infinity5 //TBD
    //hdr demo code
    result->SensorGainHdrShort = result->SensorGain;
    result->ShutterHdrShort = result->Shutter * 1024 / result->HdrRatio;
#endif

#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("SensorGain: %d -> %d \n", (int)info->SensorGain, (int)result->SensorGain);
    printf("Shutter: %d -> %d \n", (int)info->Shutter, (int)result->Shutter);
#endif

#endif
}

void ae_release(void* pdata)
{
    printf("************* ae_release *************\n");
}

//// AWB INTERFACE TEST ////

int awb_init(void *pdata)
{
    printf("************ awb_init **********\n");
    return 0;
}
 
void awb_run(void* pdata, const ISP_AWB_INFO *info, ISP_AWB_RESULT *result)
{
#define log_info 1

    static u32 count = 0;
    int avg_r = 0;
    int avg_g = 0;
    int avg_b = 0;
    int tar_rgain = 1024;
    int tar_bgain = 1024;
    int x = 0;
    int y = 0;

    result->R_gain = info->CurRGain;
    result->G_gain = info->CurGGain;
    result->B_gain = info->CurBGain;
    result->Change = 0;
    result->ColorTmp = 6000;

    if (++count % 4 == 0)
    {
        //center area YR/G/B avg
        for (y = 30; y < 60; ++y)
        {
            for (x = 32; x < 96; ++x)
            {
                avg_r += info->avgs[info->AvgBlkX * y + x].r;
                avg_g += info->avgs[info->AvgBlkX * y + x].g;
                avg_b += info->avgs[info->AvgBlkX * y + x].b;
            }
        }
        avg_r /= 30 * 64;
        avg_g /= 30 * 64;
        avg_b /= 30 * 64;

        if (avg_r < 1)
            avg_r = 1;
        if (avg_g < 1)
            avg_g = 1;
        if (avg_b < 1)
            avg_b = 1;

#if log_info
        printf("AVG R / G / B = %d, %d, %d \n", avg_r, avg_g, avg_b);
#endif

        // calculate Rgain, Bgain
        tar_rgain = avg_g * 1024 / avg_r;
        tar_bgain = avg_g * 1024 / avg_b;

        if (tar_rgain > info->CurRGain)
        {
            if (tar_rgain - info->CurRGain < 384)
                result->R_gain = tar_rgain;
            else
                result->R_gain = info->CurRGain + (tar_rgain - info->CurRGain) / 10;
        }
        else
        {
            if (info->CurRGain - tar_rgain < 384)
                result->R_gain = tar_rgain;
            else
                result->R_gain = info->CurRGain - (info->CurRGain - tar_rgain) / 10;
        }

        if (tar_bgain > info->CurBGain)
        {
            if (tar_bgain - info->CurBGain < 384)
                result->B_gain = tar_bgain;
            else
                result->B_gain = info->CurBGain + (tar_bgain - info->CurBGain) / 10;
        }
        else
        {
            if (info->CurBGain - tar_bgain < 384)
                result->B_gain = tar_bgain;
            else
                result->B_gain = info->CurBGain - (info->CurBGain - tar_bgain) / 10;
        }

        result->Change = 1;
        result->G_gain = 1024;

#if log_info
        printf("[current] r=%d, g=%d, b=%d \n", (int)info->CurRGain, (int)info->CurGGain, (int)info->CurBGain);
        printf("[result] r=%d, g=%d, b=%d \n", (int)result->R_gain, (int)result->G_gain, (int)result->B_gain);
#endif
    }
}

void awb_release(void *pdata)
{
    printf("************ awb_release **********\n");
}
 
//// AF INTERFACE TEST ////

int af_init(void *pdata, ISP_AF_INIT_PARAM *param)
{
    MI_U32 dev = Mdev;
MI_U32 u32ch = Mch;
    MI_U8 u8win_idx = 16;
    CusAFRoiMode_t taf_roimode;

    MIXER_DBG("************ af_init **********\n");

#define USE_NORMAL_MODE 1

#ifdef USE_NORMAL_MODE
        //Init Normal mode setting
        static CusAFWin_t afwin[16] =
        {
            //{ 0, {   0,    0,  1023,  1023}},  //for full image
            { 0, {   0,    0,  255,  255}},
            { 1, { 256,    0,  511,  255}},
            { 2, { 512,    0,  767,  255}},
            { 3, { 768,    0, 1023,  255}},
            { 4, {   0,  256,  255,  511}},
            { 5, { 256,  256,  511,  511}},
            { 6, { 512,  256,  767,  511}},
            { 7, { 768,  256, 1023,  511}},
            { 8, {   0,  512,  255,  767}},
            { 9, { 256,  512,  511,  767}},
            {10, { 512,  512,  767,  767}},
            {11, { 768,  512, 1023,  767}},
            {12, {   0,  768,  255, 1023}},
            {13, { 256,  768,  511, 1023}},
            {14, { 512,  768,  767, 1023}},
            {15, { 768,  768, 1023, 1023}}
        };
        for(u8win_idx = 0; u8win_idx < 16; ++u8win_idx)
        {
            MI_ISP_CUS3A_SetAFWindow(dev, u32ch, &afwin[u8win_idx]);
        }

        taf_roimode.mode = AF_ROI_MODE_NORMAL;
        taf_roimode.u32_vertical_block_number = 1;
        MI_ISP_CUS3A_SetAFRoiMode(dev, u32ch, &taf_roimode);
#else
        //Init Matrix mode setting
        static CusAFWin_t afwin[16] =
        {
            //full image, equal divide to 16x16
            //window setting need to multiple of two
            {0, {0, 0, 62, 62}},
            {1, {64, 64, 126, 126}},
            {2, {128, 128, 190, 190}},
            {3, {192, 192, 254, 254}},
            {4, {256, 256, 318, 318}},
            {5, {320, 320, 382, 382}},
            {6, {384, 384, 446, 446}},
            {7, {448, 448, 510, 510}},
            {8, {512, 512, 574, 574}},
            {9, {576, 576, 638, 638}},
            {10, {640, 640, 702, 702}},
            {11, {704, 704, 766, 766}},
            {12, {768, 768, 830, 830}},
            {13, {832, 832, 894, 894}},
            {14, {896, 896, 958, 958}},
            {15, {960, 960, 1022, 1022}}

            /*
            //use two row only => 16x2 win
            //and set taf_roimode.u32_vertical_block_number = 2
            {0, {0, 0, 62, 62}},
            {1, {64, 64, 126, 126}},
            {2, {128, 0, 190, 2}},      //win2 v_str, v_end doesn't use, set to (0, 2)
            {3, {192, 0, 254, 2}},
            {4, {256, 0, 318, 2}},
            {5, {320, 0, 382, 2}},
            {6, {384, 0, 446, 2}},
            {7, {448, 0, 510, 2}},
            {8, {512, 0, 574, 2}},
            {9, {576, 0, 638, 2}},
            {10, {640, 0, 702, 2}},
            {11, {704, 0, 766, 2}},
            {12, {768, 0, 830, 2}},
            {13, {832, 0, 894, 2}},
            {14, {896, 0, 958, 2}},
            {15, {960, 0, 1022, 2}}
            */
        };

        for(u8win_idx = 0; u8win_idx < 16; ++u8win_idx)
        {
            MI_ISP_CUS3A_SetAFWindow(dev, u32ch, &afwin[u8win_idx]);
        }

        //
        taf_roimode.mode = AF_ROI_MODE_MATRIX;
        taf_roimode.u32_vertical_block_number = 16; //16xN, N=16
        MI_ISP_CUS3A_SetAFRoiMode(dev, u32ch, &taf_roimode);


#endif


    //set AF Filter
    static CusAFFilter_t affilter =
    {
        //filter setting with sign value
        //{s9, s10, s9, s7, s7}

        //[0.3~0.6] : 20, 37, 20, -68, 53; 20, -39, 20, 34, 51; 26, 0, -26, -18, 38;
        //[0.2~0.5] : 20, 35, 20, -96, 55; 20, -39, 20, -1, 36; 26, 0, -26, -52, 38;
        //[0.1~0.6]  : 37, 0, -37, -107, 49; 37, 0, -37, 25, 28; 32, 0, -32, -41, 0;
        //[0.08~0.24]: 13, 11, 13, -87, 54; 13, -26, 13, -120, 60; 15, 0, -15, -103, 50;
        //[0.03~0.25]: 19, 0, -19, -122, 59; 19, 0, -19, -73, 36; 17, 0, -17, -91, 30;
        //[0.07~0.1]: 8, -13, 8, -120, 62; 8, -16, 8, -124, 63; 3, 0, -3, -121, 61;

        //here use [0.3~0.6] & [0.08~0.24]
        //convert to hw format (sign bit with msb)
        20, 37, 20, 68+128, 53, 0, 1023, 0, 1023,
        13, 11, 13, 87+128, 54, 0, 1023, 0, 1023,
        1, 20, 39+1024, 20, 34, 51, 1, 26, 0, 26+512, 18+128, 38,
        1, 13, 26+1024, 13,  120+128, 60, 1, 15, 0, 15+512,  103+128, 50,
    };
    MI_ISP_CUS3A_SetAFFilter(dev, 0, &affilter);

    //set AF Sq
    CusAFFilterSq_t sq = {
        .bSobelYSatEn = 0,
        .u16SobelYThd = 1023,
        .bIIRSquareAccEn = 1,
        .bSobelSquareAccEn = 0,
        .u16IIR1Thd = 0,
        .u16IIR2Thd = 0,
        .u16SobelHThd = 0,
        .u16SobelVThd = 0,
        .u8AFTblX = {6,7,7,6,6,6,7,6,6,7,6,6,},
        .u16AFTblY = {0,32,288,800,1152,1568,2048,3200,3872,4607,6271,7199,8191},
    };


    MI_ISP_CUS3A_SetAFFilterSq(dev, 0, &sq);


#if MOTOR_TEST
    mod1_isp_af_motor_init();
#endif

    MIXER_DBG("**** af_init done ****\n");

    return 0; }

void af_run(void *pdata, const ISP_AF_INFO *af_info, ISP_AF_RESULT *result)
{
    #define af_log_info 1

#if af_log_info
    int i=0,x=0;

    printf("\n\n");

    //print row0 16wins
    x=0;
    for (i=0; i<16; i++){
        printf("[AF]win%d-%d iir0: 0x%02x%02x%02x%02x%02x, iir1:0x%02x%02x%02x%02x%02x, luma:0x%02x%02x%02x%02x, sobelh:0x%02x%02x%02x%02x%02x, sobelv:0x%02x%02x%02x%02x%02x ysat:0x%02x%02x%02x\n",
            x, i,
            af_info->af_stats.stParaAPI[x].high_iir[4+i*5],af_info->af_stats.stParaAPI[x].high_iir[3+i*5],af_info->af_stats.stParaAPI[x].high_iir[2+i*5],af_info->af_stats.stParaAPI[x].high_iir[1+i*5],af_info->af_stats.stParaAPI[x].high_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].low_iir[4+i*5],af_info->af_stats.stParaAPI[x].low_iir[3+i*5],af_info->af_stats.stParaAPI[x].low_iir[2+i*5],af_info->af_stats.stParaAPI[x].low_iir[1+i*5],af_info->af_stats.stParaAPI[x].low_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].luma[3+i*4],af_info->af_stats.stParaAPI[x].luma[2+i*4],af_info->af_stats.stParaAPI[x].luma[1+i*4],af_info->af_stats.stParaAPI[x].luma[0+i*4],
            af_info->af_stats.stParaAPI[x].sobel_h[4+i*5],af_info->af_stats.stParaAPI[x].sobel_h[3+i*5],af_info->af_stats.stParaAPI[x].sobel_h[2+i*5],af_info->af_stats.stParaAPI[x].sobel_h[1+i*5],af_info->af_stats.stParaAPI[x].sobel_h[0+i*5],
            af_info->af_stats.stParaAPI[x].sobel_v[4+i*5],af_info->af_stats.stParaAPI[x].sobel_v[3+i*5],af_info->af_stats.stParaAPI[x].sobel_v[2+i*5],af_info->af_stats.stParaAPI[x].sobel_v[1+i*5],af_info->af_stats.stParaAPI[x].sobel_v[0+i*5],
            af_info->af_stats.stParaAPI[x].ysat[2+i*3],af_info->af_stats.stParaAPI[x].ysat[1+i*3],af_info->af_stats.stParaAPI[x].ysat[0+i*3]
            );
    }

    //print row15 16wins
    x=15;
    for (i=0; i<16; i++){
        printf("[AF]win%d-%d iir0: 0x%02x%02x%02x%02x%02x, iir1:0x%02x%02x%02x%02x%02x, luma:0x%02x%02x%02x%02x, sobelh:0x%02x%02x%02x%02x%02x, sobelv:0x%02x%02x%02x%02x%02x ysat:0x%02x%02x%02x\n",
            x, i,
            af_info->af_stats.stParaAPI[x].high_iir[4+i*5],af_info->af_stats.stParaAPI[x].high_iir[3+i*5],af_info->af_stats.stParaAPI[x].high_iir[2+i*5],af_info->af_stats.stParaAPI[x].high_iir[1+i*5],af_info->af_stats.stParaAPI[x].high_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].low_iir[4+i*5],af_info->af_stats.stParaAPI[x].low_iir[3+i*5],af_info->af_stats.stParaAPI[x].low_iir[2+i*5],af_info->af_stats.stParaAPI[x].low_iir[1+i*5],af_info->af_stats.stParaAPI[x].low_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].luma[3+i*4],af_info->af_stats.stParaAPI[x].luma[2+i*4],af_info->af_stats.stParaAPI[x].luma[1+i*4],af_info->af_stats.stParaAPI[x].luma[0+i*4],
            af_info->af_stats.stParaAPI[x].sobel_h[4+i*5],af_info->af_stats.stParaAPI[x].sobel_h[3+i*5],af_info->af_stats.stParaAPI[x].sobel_h[2+i*5],af_info->af_stats.stParaAPI[x].sobel_h[1+i*5],af_info->af_stats.stParaAPI[x].sobel_h[0+i*5],
            af_info->af_stats.stParaAPI[x].sobel_v[4+i*5],af_info->af_stats.stParaAPI[x].sobel_v[3+i*5],af_info->af_stats.stParaAPI[x].sobel_v[2+i*5],af_info->af_stats.stParaAPI[x].sobel_v[1+i*5],af_info->af_stats.stParaAPI[x].sobel_v[0+i*5],
            af_info->af_stats.stParaAPI[x].ysat[2+i*3],af_info->af_stats.stParaAPI[x].ysat[1+i*3],af_info->af_stats.stParaAPI[x].ysat[0+i*3]
            );
    }
#endif}

void af_release(void *pdata)
{
    printf("************ af_release **********\n");
}

int main(int argc,char** argv)
{
    //TO DO: Register 3rd party AE/AWB library
    ISP_AE_INTERFACE tAeIf;
    ISP_AWB_INTERFACE tAwbIf;

    CUS3A_Init();

    /*AE*/
    tAeIf.ctrl = NULL;
    tAeIf.pdata = NULL;
    tAeIf.init = ae_init;
    tAeIf.release = ae_release;
    tAeIf.run = ae_run;

    /*AWB*/
    tAwbIf.ctrl = NULL;
    tAwbIf.pdata = NULL;
    tAwbIf.init = awb_init;
    tAwbIf.release = awb_release;
    tAwbIf.run = awb_run;

CUS3A_RegInterface(0,&tAeIf,&tAwbIf,NULL);
// or use below reginterface
//CUS3A_AERegInterface(0,&tAeIf);
//CUS3A_AWBRegInterface(0,&tAwbIf);

//TO DO: Open MI
MI_SYS_Init();
while(1)
{
usleep(5000);
}
}

15.1. CUS3A_AeAvgDownSample¶

这边提供一个转换函式，将AE出来的统计值，从32x32缩小为16x16的sample code

void ae_run(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result)
{
        ISP_AE_SAMPLE *pInBuf = info->avgs;
        ISP_AE_SAMPLE *pOutBuf = info->avgs;
        unsigned int u32InBlkNumX = info->AvgBlkX;  //value is 32 for MACARON, PUDDING
        unsigned int u32InBlkNumY = info->AvgBlkY;  //value is 32 for MACARON, PUDDING
        unsigned int u32OutBlkNumX = 16;
        unsigned int u32OutBlkNumY = 16;

        CUS3A_AeAvgDownSample(pInBuf, pOutBuf, u32InBlkNumX, u32InBlkNumY, u32OutBlkNumX, u32OutBlkNumY);
        max = u32OutBlkNumX*u32OutBlkNumY;
}

16. MI_ISP 设置AE CROP RANGE¶

16.1. MI_ISP_CUS3A _SetAECropSize¶

目的

设定AE的统计值范围

语法

MI_RET MI_ISP_CUS3A_SetAECropSize(MI_U32 DevId, MI_U32 nChannel, CusAEAWBCropSize_t *data);

描述
1. MI_ISP_CUS3A_SetAECropSize: 调用此界面设置AE的统计值范围
2. MI_ISP_CUS3A_SetAEWindowBlockNumber: 针对统计值范围内的区域，切成MxN的Block来获得统计值
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data 设定AE统计值的范围
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

16.2. CusAEAWBCropSize_t¶

说明

AE统计值范围

定义

typedef struct {
    MI_U16 u2CropX;
    MI_U16 u2CropY;
    MI_U16 u2CropW;
    MI_U16 u2CropH;
} CusAEAWBCropSize_t;

成员

参数名称	描述
U2CropX	AE/AWB统计值范围的X起点 (0~1023)
U2CropY	AE/AWB统计值范围的Y起点 (0~1023)
U2CropW	AE/AWB统计值范围的宽度 (0~1023)
U2CropH	AE/AWB统计值范围的高度 (0~1023)

以实际影像大小来看，Crop最终的宽高，最小只有支持到320*256。若影像大小为1920*1080，则最小可设定的cropW/H的API设定为：(320/1920)*1024, (256/1080)*1024 = 170, 242。

CropSize说明
注意

影像宽高已经对应到1023，所以Crop信息，都以1023来看，FW会自动取目前实际影像大小，做mapping动作，所以用户不需知道当前影像大小多少，只要设定相对位置就好。
举例

设定 CropX = 10，CropY = 10，CropW = 300，CropH = 250

若实际影像宽高为1920x1080, 则反应在1920x1080上是:

CropX = 1920*10/1024 = 18

CropY = 1080*10/1024 = 10

CropW = 1920*300/1024 = 563

CropH = 1080*250/1024 = 263

17. MI_ISP 设置AE BLOCK NUMBER¶

17.1. MI_ISP_CUS3A_SetAEWindowBlockNumber¶

目的

设定AE的区块数量

语法

MI_RET MI_ISP_CUS3A_SetAEWindowBlockNumber(MI_U32 DevId, MI_U32 nChannel, MS_CUST_AE_WIN_BLOCK_NUM_TYPE_e eBlkNum);

描述

针对MI_ISP_CUS3A_SetAECropSize所设定的裁切范围，再设定此范围内的AE区块数量，若MI_ISP_CUS3A_SetAECropSize没有设置，则默认为影像全画面。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

eBlkNum 区块个数，将整张照片切割成X*Y格
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

17.2. MS_CUST_AE_WIN_BLOCK_NUM_TYPE_e¶

说明

AE区块

定义

typedef enum {
    AE_16x24 = 0,
    AE_32x24,
    AE_64x48,
    AE_64x45,
    AE_128x80,
    AE_128x90
} AeWinBlockNum_e;

成员

参数名称	描述
AE_16x24	画面分割成16*24块
AE_32x24	画面分割成32*24块
AE_64x48	画面分割成64*48块
AE_64x45	画面分割成64*45块
AE_128x80	画面分割成128*80块
AE_128x90	画面分割成128*90块

备注

Tiramisu不支持这支API，画面强制分割成32*32块。

18. MI_ISP 设置AE HISTOGRAM WINDOW¶

18.1. MI_ISP_CUS3A_SetAEHistogramWindow¶

目的

AE亮度分布统计值的窗口区域设定

语法

MI_RET MI_ISP_CUS3A_SetAEHistogramWindow(MI_U32 DevId, MI_MI_U32 Channel, CusAEHistWin_t *data);

描述

调用此接口设置AE亮度分布统计值的窗口区域位置及大小
成员

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data 亮度分布统计值的窗口区域位置及大小，窗口编号(0或1)
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so
注意

目前只能支持同时设定两个窗口(0/1)。窗口区域可以重叠。

18.2. HistWin_t¶

说明

AE亮度分布统计值的窗口区域设定

定义

typedef struct {
    MI_U16 u2Stawin_x_offset;
    MI_U16 u2Stawin_x_size;
    MI_U16 u2Stawin_y_offset;
    MI_U16 u2Stawin_y_size;
    MI_U16 u2WinIdx;
} CusAEHistWin_t;

成员

参数名称	描述
u2Stawin_x_offset	窗口起始坐标x轴偏移
u2Stawin_x_size	x轴方向窗口大小
u2Stawin_y_offset	窗口起始坐标y轴偏移
u2Stawin_y_size	y轴方向窗口大小
u2WinIdx	窗口编号(0或1)

参数范围

X轴偏移：0~127

Y轴偏移：0~89

X轴(偏移+大小) <= 128

Y轴(偏移+大小) <= 90
备注

在Macaron, Pudding中，参数范围如下。

X轴偏移：0~31

Y轴偏移：0~31

X轴(偏移+大小) <= 32

Y轴(偏移+大小) <= 32

19. MI_ISP 设置AWB CROP RANGE¶

19.1. MI_ISP_CUS3A _SetAWBCropSize¶

目的

设定AWB的统计值范围

语法

MI_RET MI_ISP_CUS3A_SetAWBCropSize(MI_U32 DevId, MI_U32 nChannel, CusAEAWBCropSize_t *data);

描述
1. MI_ISP_CUS3A_SetAWBCropSize: 调用此界面设置AWB的统计值范围
2. 硬件针对此统计值范围，再固定切为128x90 个block
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data 设定AWB统计值的范围
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

19.2. CusAWBCropSize_t¶

说明

AWB统计值范围

定义

typedef struct {
    MI_U16 u2CropX;
    MI_U16 u2CropY;
    MI_U16 u2CropW;
    MI_U16 u2CropH;
} CusAEAWBCropSize_t;

成员

参数名称	描述
U2CropX	AE/AWB统计值范围的X起点 (0~1023)
U2CropY	AE/AWB统计值范围的Y起点 (0~1023)
U2CropW	AE/AWB统计值范围的宽度 (0~1023)
U2CropH	AE/AWB统计值范围的高度 (0~1023)

以实际影像大小来看，Crop 最终的宽高，最小只有支持到，60x40 若影像大小为1920x1080，则最小可设定的cropW/H 的API设定为，(60/1920)*1024, (40/1080)*1024 = 32, 37。

当crop最终的影像大小，小于1280x720时，则统计值个数会开始变少，这时可读取awb info内的AvgBlkX, AvgBlkY来做确认。

CropSize说明
注意

影像宽高已经对应到1023，所以Crop信息，都以1023来看，FW会自动取目前实际影像大小，做mapping动作，所以用户不需知道当前影像大小多少，只要设定相对位置就好。
举例

设定 CropX = 10，CropY = 10，CropW = 300，CropH = 200

若实际影像宽高为1920x1080

则反应在1920x1080上，会是

CropX = 1920*10/1023 = 18

CropY = 1080*10/1023 = 10

CropW = 1920*300/1023 = 563

CropH = 1080*200/1023 = 211

20. MI_ISP 设置AWB SAMPLING¶

20.1. MI_ISP_CUS3A_SetAwbSampling¶

目的

设定AWB取样大小

语法

MI_RET MI_ISP_CUS3A_SetAwbSampling(MI_U32 DevId, MI_U32 nChannel, CusAWBSample_t *data)

描述

调用此界面设置AWB取样大小
成员

参数名称描述

nChannel 视讯输入信道号码(一般为0)

SizeX X轴上取多少个取样点

SizeY Y轴上取多少个取样点

IncRatio 对统计值乘上一个比例
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so
注意事项

整张照片已经切割成128*90格，每个格子中取其中SizeX * SizeY个pixels做AWB取样。

SizeX：SizeX >=4 && SizeX <= Block_size_X

SizeY：SizeY >=2 && SizeY <= Block_size_Y

当AE亮度很低的时候，可将统计值乘上一个比例(IncRatio)，避免统计值为0

21. MI_ISP 设置AF FILTER¶

21.1. MI_ISP_CUS3A_SetAFFilter¶

目的

设定AF Filter参数

语法

MI_RET MI_ISP_CUS3A_SetAFFilter (MI_U32 DevId, MI_U32 Channel, CusAFFilter_t *data);

描述

调用此界面设置AF Filter参数
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Filter参数
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

21.2. CusAFFilter_t¶

说明

ISP AF 硬件统计值

定义

typedef struct
{
    MI_U16 u16IIR1_a0;
    MI_U16 u16IIR1_a1;
    MI_U16 u16IIR1_a2;
    MI_U16 u16IIR1_b1;
    MI_U16 u16IIR1_b2;
    MI_U16 u16IIR1_1st_low_clip;
    MI_U16 u16IIR1_1st_high_clip;
    MI_U16 u16IIR1_2nd_low_clip;
    MI_U16 u16IIR1_2nd_high_clip;
    MI_U16 u16IIR2_a0;
    MI_U16 u16IIR2_a1;
    MI_U16 u16IIR2_a2;
    MI_U16 u16IIR2_b1;
    MI_U16 u16IIR2_b2;
    MI_U16 u16IIR2_1st_low_clip;
    MI_U16 u16IIR2_1st_high_clip;
    MI_U16 u16IIR2_2nd_low_clip;
    MI_U16 u16IIR2_2nd_high_clip;

    MI_U16 u16IIR1_e1_en;
    MI_U16 u16IIR1_e1_a0;
    MI_U16 u16IIR1_e1_a1;
    MI_U16 u16IIR1_e1_a2;
    MI_U16 u16IIR1_e1_b1;
    MI_U16 u16IIR1_e1_b2;
    MI_U16 u16IIR1_e2_en;
    MI_U16 u16IIR1_e2_a0;
    MI_U16 u16IIR1_e2_a1;
    MI_U16 u16IIR1_e2_a2;
    MI_U16 u16IIR1_e2_b1;
    MI_U16 u16IIR1_e2_b2;

    MI_U16 u16IIR2_e1_en;
    MI_U16 u16IIR2_e1_a0;
    MI_U16 u16IIR2_e1_a1;
    MI_U16 u16IIR2_e1_a2;
    MI_U16 u16IIR2_e1_b1;
    MI_U16 u16IIR2_e1_b2;
    MI_U16 u16IIR2_e2_en;
    MI_U16 u16IIR2_e2_a0;
    MI_U16 u16IIR2_e2_a1;
    MI_U16 u16IIR2_e2_a2;
    MI_U16 u16IIR2_e2_b1;
    MI_U16 u16IIR2_e2_b2;
} CusAFFilter_t;

成员

IIR参数如下

名称	bit表示	描述	IIR1 default	IIR2 default
a0	S+9	a0乘法器	63	63
a1	S+10	a1乘法器	-126	-126
a2	S+9	a2乘法器	63	63
b1	S+7	b1乘法器	65	-109
b2	S+7	b2乘法器	55	48
1^st_low_clip	10	X(n) input low clip	0	0
1^st_high_clip	10	X(n) input high clip	320	320
2^nd_low_clip	10	Y(n) output low clip	0	0
2^nd_high_clip	10	Y(n) output high clip	1023	1023

IIR1 default 为 IIR High，IIR2 default 为 IIR Low

//Pudding only

名称	bit表示	描述	IIR1 default	IIR2 default
a0	S+9	a0乘法器	37	15
a1	S+10	a1乘法器	0	0
a2	S+9	a2乘法器	-37	-15
b1	S+7	b1乘法器	83	-79
b2	S+7	b2乘法器	40	44
1^st_low_clip	10	X(n) input low clip	0	0
1^st_high_clip	10	X(n) input high clip	1023	1023
2^nd_low_clip	10	Y(n) output low clip	0	0
2^nd_high_clip	10	Y(n) output high clip	1023	1023
e1_en	1	Extra1 enable	1	1
e1_a0	S+9	a0乘法器	37	15
e1_a1	S+10	a1乘法器	0	0
e1_a2	S+9	a2乘法器	-37	-15
e1_b1	S+7	b1乘法器	-54	-115
e1_b2	S+7	b2乘法器	34	55
e2_en	1	Extra2 enable	1	1
e2_a0	S+9	a0乘法器	32	14
e2_a1	S+10	a1乘法器	0	0
e2_a2	S+9	a2乘法器	-32	-14
e2_b1	S+7	b1乘法器	14	-91
e2_b2	S+7	b2乘法器	0	37

IIR1 default 为 IIR High，IIR2 default 为 IIR Low

IIR 系数，架构图如下：

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

22. MI_ISP 设置AF FILTER SQUARE¶

22.1. MI_ISP_CUS3A_SetAFFilterSq¶

目的

设定AF Filter Square参数

语法

MI_RET MI_ISP_CUS3A_SetAFFilterSq (MI_U32 DevId, MI_U32 Channel, CusAFFilterSq_t *data);

描述

调用此界面设置AF Filter Square参数
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Filter Square参数
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

22.2. CusAFFilterSq_t¶

说明

ISP AF Square硬件统计值

定义

typedef struct { MI_BOOL bSobelYSatEn; MI_U16 u16SobelYThd;

MI_BOOL bIIRHSquareAccEn;
MI_BOOL bIIRLSquareAccEn;
MI_BOOL bSobelHSquareAccEn;
MI_BOOL bSobelVSquareAccEn;

MI_U16  u16IIR1Thd;
MI_U16  u16IIR2Thd;
MI_U16  u16SobelHThd;
MI_U16  u16SobelVThd;
MI_U8   u8AFTblX[12];
MI_U16  u16AFTblY[13];

} CusAFFilter_t;

成员

名称	描述
bFIRYSatEn	此开关包含两种动作： FIR Filter Y阈值控制 y_sat统计值的设定控制
u16FIRYThd	当bFIRYSatEn = 1 FIR Filter Y阀值控制: 则pixel亮度小于u16FIRYThd时，就会列入FIR Filter计算中 y_sat统计值的设定控制: 回传大于u16FIRYThd的pixel个数，反应在Y_sat统计值中数值范围: 0 ~ 1023。
bIIRSquareAccEnbIIRHSquareAccEn	IIRIIRH Filter 增强控制
bFIRSquareAccEnbIIRLSquareAccEn	FIRIIRL Filter 增強控制
bSobelHSquareAccEn	FIRH Filter 增強控制
bSobelVSquareAccEn	FIRV Filter 增強控制
u16IIR1Thd	IIR Filter Output = IIR Filter Output – IIRThd。数值范围: 0 ~ 1023。
u16IIR2Thd	IIR Filter Output = IIR Filter Output – IIRThd。数值范围: 0 ~ 1023。
u16FIRHThd	FIR Filter Output = FIR Filter Output – FIR Thd。数值范围: 0 ~ 1023。
u16FIRVThd	FIR Filter Output = FIR Filter Output – FIR Thd。数值范围: 0 ~ 1023。
u8AFTblX[12]	针对IIR与FIR Filter，做一个non-linear的mapping u8AFTblX为横轴，节点为二的幂次方累加，累加起来需大于1024。数值范围: 0 ~ 15。
u16AFTblY[13]	针对IIR与FIR Filter，做一个non-linear的mapping u8AFTblY为纵轴，数值范围: 0 ~ 8191。

SquareACC使用时机，针对中高对比度的粗边反差，做放大的动作。且低于Thd的值，会砍为0，用来抗低照下的噪点。

参考设定 (Square)

u8AFTblX = 6,7,7,6,6,6,7,6,6,7,6,6

u16AFTblY = 0,32,288,800,1152,1568,2048,3200,3872,4607,6271,7199,8191

参考设定 (Linear, 统计值保持原状)

u8AFTblX = 6,7,7,6,6,6,7,6,6,7,6,6

u16AFTblY = 0,64,192,320,384,448,512,640,704,768,896,960,1023

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

23. MI_ISP 设置AF ROI MODE¶

23.1. MI_ISP_CUS3A_SetAFRoiMode¶

目的

设定AF统计值的模式

语法

MI_RET MI_ISP_CUS3A_SetAFRoiMode (MI_U32 DevId, MI_U32 nChannel, CusAFRoiMode_t *data);

描述

调用此界面设置AF统计值模式
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF统计值的模式
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

23.2. CusAFRoiMode_t¶

描述

设定AF统计值的模式

定义

typedef enum __attribute__ ((aligned (1)))
{
    AF_ROI_MODE_NORMAL,
    AF_ROI_MODE_MATRIX
} ISP_AF_ROI_MODE_e;

typedef struct
{
    ISP_AF_ROI_MODE_e mode;
    MI_U32 u32_vertical_block_number;
} CusAFRoiMode_t;

成员

名称	描述
mode	AF_ROI_MODE_NORMAL: 可切为16组ROI，window size与位置可随意分割，默认为此模式。 AF_ROI_MODE_MATRIX: 可切为16 * N组ROI，window size与位置稍有限制，但可切较多区块。(N= u32_vertical_block_number)
u32_vertical_block_number	If mode = AF_ROI_MODE_MATRIX 可切为16 * N组ROI。(N= u32_vertical_block_number, 1~16)

AF_ROI_MODE_NORMAL: AF ROI切割方式

AF_ROI_MODE_MATRIX: AF ROI切割方式

横轴，固定有16个

纵轴，会依据u32_vertical_block_number，来决定有几组16个ROI，上图为u32_vertical_block_number=16，就有 16*16 组ROI

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

24. MI_ISP 设置AF WINDOW¶

24.1. MI_ISP_CUS3A_SetAFWindow¶

目的

设定AF Window

语法

MI_RET MI_ISP_CUS3A_SetAFWindow (MI_U32 DevId, MI_U32 nChannel, CusAFWin_t *data);

描述

AF window在AF_Init阶段设置,将CMOS sensor image切成1024*1024坐标格来设置AF window

坐标与实际crop range换算公式:

Image width * X /1024 = 真实X坐标

Image_height * Y/1024 = 真实Y坐标

Ex:

AF window设置为 :

Start_X = 458

End_X = 566

Start_Y = 418

End_Y = 606

则在1920x1080的CMOS sensor下设置的AF window坐标即为:

Real_Start_X = 1920 *458/1024 = 858

Real_End_X = 1920 *566/1024 = 1061

Real_Start_Y = 1080 *418/1024 = 440

Real_End_Y = 1080 *606/1024 = 639
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

24.2. CusAFWin_t¶

语法

typedef struct AF_WINDOW_PARAM_s { MI_U32 u32StartX; /range : 0~1023/ MI_U32 u32StartY; /range : 0~1023/ MI_U32 u32EndX; /range : 0~1023/ MI_U32 u32EndY; /range : 0~1023/ } AF_WINDOW_PARAM_t;

typedef struct { MI_U8 u8WindowIndex; AF_WINDOW_PARAM_t stParaAPI; } CusAFWin_t;
参数

参数名称描述

u8WindowIndex AF ROI Index (0~15), for NORMAL & MATRIX mode

stParaAPI AF ROI position
描述

在 AF ROI Mode = AF_ROI_MODE_NORMAL时，StrX, StrY, EndX, EndY就是代表该Window Index的位置

(win0代表u8WindowIndex=0)

在 AF ROI Mode = AF_ROI_MODE_MATRIX时，StrX, EndX,就是代表横轴window切割的位置，StrY, EndY就是代表纵轴切割的位置

（win0代表u8WindowIndex=0）

（win1代表u8WindowIndex=1）

（win15代表u8WindowIndex=15）

使用限制:

AF ROI Mode = AF_ROI_MODE_NORMAL
- 各自window宽高设置上，可互相重迭
- h/v end > h/v start
AF ROI Mode = AF_ROI_MODE_MATRIX
- 各自window宽设置上，可互相重迭，但高不可重迭
- h/v end > h/v start
- win0_v_start < win0_v_end < win1_v_start < win1_v_end < win2…
- win(0,0), win(1,0), …, win(15,0) 使用共同的h_start, h_end设定，由af0_h_start, h_end决定
- win(0,1), win(1,1), …, win(15,1) 使用共同的h_start, h_end设定，由af1_h_start, h_end决定，其他以此推论
- win(0,0), win(0,1), …, win(0,15) 使用共同的v_start, v_end设定，由af0_v_start, v_end决定
- win(1,0), win(1,1), …, win(1,15) 使用共同的v_start, v_end设定，由af1_v_start, v_end决定，其他以此推论
设定为Matrix mode时，请先将AF Window设定好，再切换到Matrix mode。
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

25. MI_ISP 设置AF YPARAM¶

25.1. MI_ISP_CUS3A_SetAFYParam¶

目的

设定AF Y Param

语法

MI_RET MI_ISP_CUS3A_SetAFYParam (MI_U32 DevId, MI_U32 nChannel, CusAFYParam_t *data);

描述

AF计算统计值时，会将Bayer data转为Y data，这边提供Bayer转Y时，R/G/B的各自比例的控制。

预设BayerRGB转成Y时，各自比例为 (76, 75, 29)，128为1x。当场景为逆光，或较暗时，因为亮度讯号较小，导致AF统计值偏小，反应不出峰值。这时，可将RGB比例提高，相对Y的讯号就变大，使峰值明显一些，例如比例改为 (255, 252, 97)，可设定的最大值为255。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

25.2. CusAFYParam_t¶

语法

typedef struct { MI_U8 r; //0~255 MI_U8 g; //0~255 MI_U8 b; //0~255 } CusAFYParam_t;
参数

参数名称描述

r Bayer to Y的r channel比例 (0~255)

g Bayer to Y的g channel比例(0~255)

b Bayer to Y的b channel比例(0~255)
需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

26. MI_ISP 设置AF SOURCE¶

26.1. MI_ISP_CUS3A_SetAFSource¶

目的

选择AF统计值的来源

语法

MI_RET MI_ISP_CUS3A_SetAFSource (MI_U32 DevId, MI_U32 nChannel, CusAFSource_e *data);

描述

选择AF统计值的来源。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

26.2. CusAFSource_e¶

语法

typedef enum { AF_SOURCE_FROM_SE_OBC_BF_HDR = 2, AF_SOURCE_FROM_SE_WBG_BF_HDR = 3, AF_SOURCE_FROM_ALSC_AF_HDR = 4, AF_SOURCE_FROM_WBG_AF_HDR = 5, AF_SOURCE_FROM_LE_OBC_BF_HDR = 6, AF_SOURCE_FROM_LE_WBG_BF_HDR = 7, } CusAFSource_e;

参数

HDR模式

参数名称	描述
AF_SOURCE_FROM_SE_OBC_BF_HDR	选择HDR前的短曝结果 (OB后)
AF_SOURCE_FROM_SE_WBG_BF_HDR	选择HDR前的短曝结果 (WBGain后)
AF_SOURCE_FROM_ALSC_AF_HDR	选择HDR后的结果 (Shading后)
AF_SOURCE_FROM_WBG_AF_HDR	选择HDR后的结果 (WBGain后)
AF_SOURCE_FROM_LE_OBC_BF_HDR	选择HDR前的长曝结果 (OB后)
AF_SOURCE_FROM_LE_WBG_BF_HDR	选择HDR前的长曝结果 (WBGain后)

线性模式

参数名称	描述
AF_SOURCE_FROM_SE_OBC_BF_HDR	选择OB后的结果
AF_SOURCE_FROM_SE_WBG_BF_HDR	选择WBGain后的结果
AF_SOURCE_FROM_ALSC_AF_HDR	选择CI前的结果 (Shading后)
AF_SOURCE_FROM_WBG_AF_HDR	选择CI前的结果 (WBGain后)
AF_SOURCE_FROM_LE_OBC_BF_HDR	不支持
AF_SOURCE_FROM_LE_WBG_BF_HDR	不支持

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

27. MI_ISP 设置AF PREFILTER¶

27.1 MI_ISP_CUS3A_SetAFPreFilter¶

目的

设定AF PreFilter。

语法

MI_RET MI_ISP_CUS3A_SetAFPreFilter (MI_U32 DevId, MI_U32 nChannel, CusAFPreFilter_t *data);

描述

当Bayer数据，要计算统计值前，会先过一个PreFilter，来做去噪的动作，可用于低照场景，提高FV曲线的抗噪能力。只有IIR有此功能。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

### 27.2. CusAFPreFilter_t

typedef struct { MI_U8 u8IIR1En; MI_U8 u8IIR2En; MI_U8 u8Cor; //0, 1, 2, 3: 0x, 1x, 2x, 4x MI_U8 u8Hor; //0, 1, 2, 3: 0x, 1x, 2x, 4x MI_U8 u8Vert; //0, 1, 2, 3: 0x, 1x, 2x, 4x MI_U8 u8Cent; //0, 1, 2, 3: 1x, 2x, 4x, 8x MI_U8 u8Div; //0, 1, 2, 3: ⅛x, 1/16x, 1/32x, 1/64x } CusAFPreFilter_t;

参数

参数名称	描述
u8IIR1En	IIR1使用PreFilter的开关
u8IIR2En	IIR2使用PreFilter的开关
u8Cor	设定周围对角方向，四个像素的比例 0: 0 1: 1 2: 2 3: 4
u8Hor	设定周围水平方向，两个像素的比例 0: 0 1: 1 2: 2 3: 4
u8Vert	设定周围垂直方向，两个像素的比例 0: 0 1: 1 2: 2 3: 4
u8Cent	设定当前像素的比例 0: 1 1: 2 2: 4 3: 8
u8Div	将上述像素结果累加起来，作除法的动作 0: /8 1: /16 2: /32 3: /64

像素排列如下

Cor	Vert	Cor
Hor	Center	Hor
Cor	Vert	Cor

则做以下动作

Out = (u8Cor * (Cor+Cor+Cor+Cor) + u8Hor * (Hor+Hor)+ u8Vert * (Vert+Ver) + u8Cent * (Cent)) / u8Div

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

28. MI_ISP 设置AF YMAP¶

28.1. MI_ISP_CUS3A_SetAFYMap¶

目的

设定AF YMap。

语法

MI_RET MI_ISP_CUS3A_SetAFYParam (MI_U32 DevId, MI_U32 nChannel, CusAFYParam_t *data);

描述

在Bayer转成Y后，再针对亮度(Y)做一个tone mapping的转换，使用时机跟MI_ISP_CUS3A_SetAFYParam一样，想针对偏暗的场景，做亮度提升的动作，进而让FV值比较好侦测。

建议可使用SetAFYMap来替代SetAFYParam。因为YParam是整体乘gain来拉亮，暗区拉亮，亮区就过曝。而SetAFYMap可针对不同区域来拉亮，让亮区不会过曝太多。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

### 28.2. CusAFYParam_t

typedef struct { MI_U8 u8En; MI_U8 u8LumaSource; //0: bef ymap; 1: aft ymap MI_U8 u8YMapX[8]; // 1~9 MI_U16 u16YMapY[9]; // 0~1023 } CusAFYMap_t;

参数

参数名称	描述
u8En	YMap 的开关
u8LumaSource	选择AF_Luma统计值，是否经过YMap的效果 0: 在YMap前统计Luma 1: 在YMap后统计Luma
u8YMapX[8]	YMap的横轴，以二的幂次方累加，最后一点累加完需大于等于1023
u16YMapY[9]	YMap的纵轴，0~1023

.ymap_x = {4,4,4,4,6,7,8,9}, 实际横轴为0, 16, 32, 48, 64, 128, 256, 512, 1024 .ymap_y = {0,72,135,183,222,340,501,722,1023},

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

29. MI_ISP 设置AF LDG¶

29.1. MI_ISP_CUS3A_SetAFLDG¶

目的

设定AF LDG (Level Depend Gain) 。

语法

MI_RET MI_ISP_CUS3A_SetAFLdg (MI_U32 DevId, MI_U32 nChannel, CusAFLdg_t *data);

描述

此功能会参考像素的亮度值，来控制统计值输出的程度，来抑制点光源对FV的影响。
参数

参数名称描述

nChannel 视讯输入信道号码(一般为0)

data AF Window设置
返回值

返回值描述

MI_RET_SUCCESS 成功

MI_RET_FAIL 失败

29.2. CusAFYParam_t¶

typedef struct
{
    MI_U8 u8IIR1En;
    MI_U8 u8IIR2En;
    MI_U8 u8FIRHEn;
    MI_U8 u8FIRVEn;
    MI_U16 u16IIRCurveX[6];    // 0~1023
    MI_U8  u8IIRCurveY[6];    // 0~255
    MI_U16 u16FIRCurveX[6];    // 0~1023
    MI_U8  u8FIRCurveY[6];    // 0~255
} CusAFLdg_t;

参数

参数名称	描述
u8IIR1En	IIR1使用LDG功能的开关
u8IIR2En	IIR2使用LDG功能的开关
u8FIRHEn	FIRH使用LDG功能的开关
u8FIRVEn	FIRV使用LDG功能的开关
u16IIRCurveX[6]	IIR LDG横轴，输入为亮度值，0~1023
u8IIRCurveY[6]	IIR LDG纵轴，输出为统计值比例，0~255，255代表不衰减
u16FIRCurveX[6]	FIR LDG横轴，输入为亮度值，0~1023
u8FIRCurveY[6]	FIR LDG纵轴，输出为统计值比例，0~255，255代表不衰减

.curve_x = {0,300,1023,1023,1023,1023}, .curve_y = {255,255,40,40,40,40}, 此设定，针对亮度300以上的统计值，开始递减，到亮度1023时，递减为40/255=0.156左右。

需求

header file：mi_isp_cus3a_api.h

.so：libmi_isp.so

30. GET CUST3A VERSION¶

参考isp_cus3a_if.h，版号定义如下

#define CUS3A_VER_STR "CUS3A_V1.1"
#define CUS3A_VER_MAJOR 1
#define CUS3A_VER_MINOR 1

unsigned int CUS3A_GetVersion(char* pVerStr);

可由查看header file获得版号
可由CUS3A_GetVersion获得版号

31. 各芯片支持差异列表¶

此章节描述Twinkie、Pretzel、Macaron与Pudding所支持的功能列表

参数名称	Twinkie	Pretzel	Macaron	Pudding/Ikayaki	Tiramisu
AE统计值	128*90	128*90	32*32	32*32	32*32
AE hist2	支持	支持	不支持	不支持	不支持
AF统计值	IIR(34), FIR(34), Luma(34), YSat(24)	IIR(35), FIR(35), Luma(32), YSat(22)	IIR(35), FIR(35), Luma(32), YSat(22)	IIR(35), FIR(35), Luma(32), YSat(22)	IIR(35), FIR(35), Luma(32), YSat(22)
MI_ISP_CUS3A_SetAEWindowBlockNumber	支持	支持	不支持	不支持	不支持
MI_ISP_CUS3A_SetAEHistogramWindow	偏移+大小限制: 最大128*90	偏移+大小限制: 最大128*90	偏移+大小限制: 最大32*32	偏移+大小限制: 最大32*32	偏移+大小限制: 最大32*32
MI_ISP_CUS3A_SetAFFilter	支持	支持	支持	支持，新增Extra参数	支持，新增Extra参数
MI_ISP_CUS3A_SetAFFilterSq	不支持	支持	支持	支持	支持 (iir_h/l, fir_h/v可分开控制)
MI_ISP_CUS3A_SetAFRoiMode	不支持	支持	支持	支持	支持
MI_ISP_CUS3A_SetAFSource	支持	支持	不支持	支持	支持
MI_ISP_CUS3A_SetAFPreFilter	不支持	不支持	不支持	不支持	支持
MI_ISP_CUS3A_SetAFYMap	不支持	不支持	不支持	不支持	支持
MI_ISP_CUS3A_SetAFLdg	不支持	不支持	不支持	不支持	支持

参数名称	描述	输出/输入
pdata	算法私有数据指针 (Reserved)	输入
cmd	AF控制指令 (Reserved)	输入
param	AF控制指令参数 (Reserved)	输入

参数名称	描述
nChannel	视讯输入信道号码(一般为0)
data	设定AE统计值的范围

参数名称	描述
nChannel	视讯输入信道号码(一般为0)
eBlkNum	区块个数，将整张照片切割成X*Y格

参数名称	描述
nChannel	视讯输入信道号码(一般为0)
SizeX	X轴上取多少个取样点
SizeY	Y轴上取多少个取样点
IncRatio	对统计值乘上一个比例

参数名称	描述
u8WindowIndex	AF ROI Index (0~15), for NORMAL & MATRIX mode
stParaAPI	AF ROI position

参数名称	描述
r	Bayer to Y的r channel比例 (0~255)
g	Bayer to Y的g channel比例(0~255)
b	Bayer to Y的b channel比例(0~255)

返回值	描述
MI_RET_SUCCESS	成功
MI_RET_FAIL	失败

### 27.2. CusAFPreFilter_t

返回值	描述
0	切换成功
<0	切换失败

返回值	描述
0	初始化成功
-1	初始化失败

返回值	描述
0	初始化成功
-1	初始化失败

返回值	描述
0	初始化成功
-1	初始化失败