AE/AWB/AF Interface

Version 1.9


1. 系统架构

ISP除主要核心外,另外可外挂3A算法模块。用户可自行开发AWB/AE/AF算法库透过注册AWB/AE/AF Interface 与ISP连结。

在ISP工作时期CUS3A透过AWB/AE/AF Interface提供硬件统计值给算法,算法回报对应的结果给CUS3A Host。CUS3A Host 透过MI_ISP将算法结果写入ISP Middleware,最后透过对应的ISP Drive/Sensor Driver将结果写入硬件。

此架构下用户端算法只需专注在算法的输入与输出计算上,不须处理系统整合相关问题。


2. AE/AWB运作流程

用户程序必须在MI_SYS_Init()之前透过CUS3A_RegInterface()注册算法库(callback function),之后ISP初始化阶段,ISP核心透过init()通知算法进行初始化工作。当前端Sensor开始取影像,ISP核心会在每侦影像中断时呼叫算法run(),并且将硬件统计值带入算法中。当ISP关闭时,透过release()通知算法释放所有资源。

流程图中红色字体为算法必须提供的callback function。


3. AE/AWB STATISTIC FORMAT

AE/AWB统计值在程序代码中定义如下,每张影像均会产生128*90笔取样数据。

在Macaron, Pudding中,AE统计值,每张影像只会产生32*32笔取样数据。

#define isp_3A_ROW  (128)   /**< number of 3A statistic blocks in a row */
#define isp_3A_COL  (90)    /**< number of 3A statistic blocks in a column */ @brief Single AE HW statistics data*/
typedef struct
{
    U8  r;  /**< block pixel R average , 0~255*/
    U8  g;  /**< block pixel G average , 0~255, g=(Gr+Gb+1)>>1*/
    U8  b;  /**< block pixel B average , 0~255*/
    U8  y;  /**< block pixel Y average , 0~255, /
            y=(Ravg*9 +Gavg*19 +Bavg*4 + 16)>>5 */
}__attribute__((packed, aligned(1))) ISP_AE_SAMPLE;

/*! @brief Single AWB HW statistics data*/
typedef struct
{
    U8  r;  /**<center pixel R value , 0~255    */
    U8  g;  /**<center pixel G value , 0~255    */
    U8  b;  /**<center pixel B value , 0~255    */
}__attribute__((packed, aligned(1))) ISP_AWB_SAMPLE;

ISP会在每次Frame End将AE/AWB统计值传给算法端,数据排列方式如下表。ISP将影像切为isp_3A_ROW x isp_3A_COL 区域,并计算每个区域统计值填入

ISP_AWB_INFO::data[isp_3A_ROW*isp_3A_COL]

ISP_AE_INFO::data[isp_3A_ROW*isp_3A_COL]

针对RGB-IR sensor,硬件会额外抽出,IR信息的histogram,供AE参考使用

#define _3A_IR_HIST_BIN  (256)   /**< histogram type2 resolution*/

typedef struct
{
    u16 u2IRHist[_3A_IR_HIST_BIN];
} ____attribute__((packed, aligned(1))) ISP_IR_HISTX;

4. AF STATISTIC FORMAT

设置AF统计window(ISP_AF_RECT),提供16*n(n = 1~16)个window可供设置(af_stats_win[16]),每祯会将统计结果output, output结构如ISP_AF_STATS,每个Window会output 6种filter的统计值-

各filter bit数表示如下

Filter Bit & Chip Type Twinkie Pretzel Macaron/Pudding
IIR / Sobel 34 35 35
Luma 34 32 32
YSat 24 22 22

AF ROI Mode = AF_ROI_MODE_NORMAL: 只看CusAFStats_t.stParaAPI[0]

AF ROI Mode = AF_ROI_MODE_MATRIX: 可看CusAFStats_t.stParaAPI[0~15]

typedef struct {
    MI_U32 u32StartX;   /*range : 0~1023*/
    MI_U32 u32StartY;   /*range : 0~1023*/
    MI_U32 u32EndX;     /*range : 0~1023*/
    MI_U32 u32EndY;     /*range : 0~1023*/
} AF_WINDOW_PARAM_t;

typedef struct {
    MI_U8 u8WindowIndex;
    AF_WINDOW_PARAM_t stParaAPI;
} CusAFWin_t;

//for Pretzel, Macaron, Pudding              //for Twinkie
typedef struct{                         typedef struct{
    MI_U8 high_iir[5*16];                       MI_U8 high_iir[6*16];
    MI_U8 low_iir[5*16];                        MI_U8 low_iir[6*16];
    MI_U8 luma[4*16];                           MI_U8 luma[6*16];
    MI_U8 sobel_v[5*16];                        MI_U8 sobel_v[6*16];
    MI_U8 sobel_h[5*16];                        MI_U8 sobel_h[6*16];
    MI_U8 ysat[3*16];                           MI_U8 ysat[3*16];
} AF_STATS_PARAM_t ;                        } AF_STATS_PARAM_t ;

typedef struct{                         typedef struct{
    AF_STATS_PARAM_t stParaAPI[16];             AF_STATS_PARAM_t stParaAPI;
} CusAFStats_t;                         } CusAFStats_t;

4.1. 各AF Filter说明

参数名称 描述 输出/输入
IIR_1 分区间统计的AF 水平方向IIR滤波器统计值 输出
IIR_2 分区间统计的AF 水平方向IIR滤波器统计值 输出
Luma 分区间统计的AF 亮度统计值 输出
FIR_H 分区间统计的AF 水平方向FIR滤波器统计值 输出
FIR_V 分区间统计的AF 垂直方向FIR滤波器统计值 输出
YSat 分区间统计的 AF FIR滤波器, 大于YThd的统计值个数 输出

数据范例:

一般场景远焦:

一般场景近焦:

低亮度场景远焦:

低亮度场景远焦+灯源:

[PUDDING]

高亮场景,使用IIR结果

低照场景,使用IIR结果


5. AE RESULT

当ISP呼叫AE算法run()后,AE算法必须提供相对应的结果给ISP,格式如下。

/*! @brief ISP ae algorithm result*/
typedef struct
{
    U32 Size;       /**< struct size*/
    U32 Change;    /**< if true, apply this result to hw register*/
    U32 Shutter;    /**< Shutter in us */
    U32 SensorGain; /**< Sensor gain, 1X = 1024 */
    U32 IspGain;    /**< ISP gain, 1X = 1024 */
    U32 ShutterHdrShort;    /**< Shutter in us */
    U32 SensorGainHdrShort; /**< Sensor gain, 1X = 1024 */
    U32 IspGainHdrShort;    /**< ISP gain, 1X = 1024 */
    U32 u4BVx16384; /**< Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv */
    U32 AvgY;       /**< frame brightness */
    U32 HdrRatio;   /**< hdr ratio, 1X = 1024 */

/*CUS3A v1.1*/
    U32 FNx10;           /**< F number * 10 */
    U32 DebandFPS;      /**< Target fps when running auto debanding*/
U32 WeightY;        /**< frame brightness with ROI weight*/

/*CUS3A v1.3*/
    U16 GMBlendRatio;  /**< Adaptive Gamma Blending Ratio from AE**/
U16 IRLightStr;    /**< Setting IR light source strength , range 0~100**/
}ISP_AE_RESULT;

Size : ISP_AE_RESULT长度,用于处理版本向下兼容问题。

Change: 若该值为1,ISP将此次设定值写入硬件,若为0 ISP会忽略此次的结果。

Shutter: 设定Sensor曝光时间。

SensorGain: 设定Sensor gain,Digital/Analog gain分配率由Sensor驱动决定。

IspGain: 设定ISP digital gain。

ShutterHdrShort: 设定短曝Sensor曝光时间。

SensorGainHdrShort: 设定短曝Sensor gain,Digital/Analog gain分配率由Sensor驱动决定。

IspGainHdrShort: 设定短曝ISP digital gain。

u4BVx16384: 目前场景的亮度值,此处计算公式比照APEX。此设定值将会被IQ算法参考。

AvgY:此张影像的平均灰阶亮度,此设定值将会被IQ算法参考。

HdrRatio:此张影像的HDR长短曝比例,此设定值将会被IQ算法参考。

Fnx10: 设定FN Numbe

DebandFPS: 设定FPS

WeightY: 此张影像经过ROI weighting的平均灰阶亮度,此设定值将会被IQ算法参考。

GMBlendRatio: 当IQ的AdaptiveGamma及RGBGamma皆enable才有作用,IQ会根据此ratio去做AdaptiveGamma和RGBGamma的混和. 请参考下图。值域1~1025,513代表直接使用RGBGamma不做混和。


6. AWB RESULT

当ISP呼叫AWB算法run()后,AWB算法必须提供相对应的结果给ISP,格式如下。

/*! @brief AWB algorithm result*/
typedef struct
{
    U32 Size;       /**< struct size*/
    U32 Change;    /**< if true, apply this result to hw register*/
    U32 R_gain;     /**< AWB gain for R channel*/
    U32 G_gain;     /**< AWB gain for G channel*/
    U32 B_gain;     /**< AWB gain for B channel*/
    U32 ColorTmp;   /**< Return color temperature*/
}ISP_AWB_RESULT;

Size : ISP_AWB_RESULT长度,用于处理版本向下兼容问题。

Change: 若该值为1,ISP将此次设定值写入硬件,若为0,ISP会忽略此次的结果。

R_gain: R channel增益。

G_gain: G channel增益。

B_gain: B channel增益。

ColorTmp: 目前场景色温。


7. AF RESULT

当ISP呼叫AF算法run()后,AF算法必须提供相对应的结果给ISP,格式如下。

/*! @brief AF algorithm result*/
typedef struct
{
    u32 Size;           /**< struct size*/
    u32 Change; /**< if true, apply this result to hw*/
    u32 NextPos; /**< Next position*/
/**< CUS3A v1.3*/
    u32                   ChangeParam;      /** if true, apply the following 4 results to hw register **/
    CusAFRoiMode_t        ROIMode;          /** roi mode configuration**/
    CusAFWin_t            Window[16];       /** AF statistics window position **/
    CusAFFilter_t         Filter;           /** AF filter paramater**/
    CusAFFilterSq_t       FilterSq;         /** AF filter square parameter**/
} ISP_AF_RESULT;

Change: 若该值为1,通知AF演算出的焦距(NextPos)生效

NextPos: AF算法算出的焦距结果。


8. AE,AWB,AF库界面

int CUS3A_RegInterfaceEX(IspCh_e eIspCh, AlgoAdaptor eAdaptor, IspAlgoType eAlgoType, void* pAlgo)
  • 说明

    用户AE,AWB,AF库注册接口

  • 参数

    参数名称 描述 输出/输入
    eIspCh 指定算法对应的ISP channel 输入
    eAdaptor 指定算法对应的 AlgoAdaptor 目前只支持用户端使用E_ALGO_ADAPTOR_1 输入
    eAlgoType 指定算法类型 E_ALGO_TYPE_AE , E_ALGO_TYPE_AWB, E_ALGO_TYPE_AF 输入
    pAlgo 算法实作端提供库指针,若不需实作算法,则填NULL pAlgo型态对应eAlgoType设定值
    E_ALGO_TYPE_AE : pAlgo = ISP_AE_INTERFACE*
    E_ALGO_TYPE_AWB : pAlgo = ISP_AWB_INTERFACE*
    E_ALGO_TYPE_AF : pAlgo = ISP_AF_INTERFACE*
    输入
  • 返回值

    返回值 描述
    0 注册成功
    <0 注册失败
    int CUS3A_SetAlgoAdaptor(IspCh_e eIspCh, AlgoAdaptor eAdaptor,  IspAlgoType eAlgoType)
    
  • 说明

    在已注册的算法间进行切换。

  • 参数

    参数名称 描述 输出/输入
    eIspCh 指定算法切换的ISP channel 输入
    eAdaptor 指定算法切换的 AlgoAdaptor E_ALGO_ADAPTOR_NATIVE: SStar 3A E_ALGO_ADAPTOR_1 : 用户端3A 输入
    eAlgoType 指定算法类型 E_ALGO_TYPE_AE , E_ALGO_TYPE_AWB, E_ALGO_TYPE_AF 输入
  • 返回值

    返回值 描述
    0 切换成功
    <0 切换失败
  • 举例

    /*ISP0 AE -> SStarAE*/
    CUS3A_SetAlgoAdaptor(eIspCh0, eAdapNative, eAlgoAE) 
    /*ISP0 AWB -> Customer AWB*/
    CUS3A_SetAlgoAdaptor(eIspCh0, eAdap1, eAlgoAWB)
    /*ISP0 AF -> Customer AF */
    CUS3A_SetAlgoAdaptor(eIspCh0, eAdap1, eAlgoAF)
    

    int CUS3A_RegInterface(U32 nCh, ISP_AE_INTERFACE *pAe, ISP_AWB_INTERFACE *pAwb, ISP_AF_INTERFACE *pAf)
    
    int CUS3A_AERegInterface(u32 nCh,ISP_AE_INTERFACE *pAE);
    int CUS3A_AWBRegInterface(u32 nCh,ISP_AWB_INTERFACE *pAWB);
    int CUS3A_AFRegInterface(u32 nCh,ISP_AF_INTERFACE *pAF);
    

CUS3A_RegInterface , CUS3A_AERegInterface, CUS3A_AWBRegInterface, CUS3A_AFRegInterface 不建议使用,请以CUS3A_RegInterfaceEX取代。

  • 说明

    ISP提供AE,AWB,AF库注册接口

    可使用*CUS3A_RegInterface*一次注册AE, AWB, AF

    或使用*CUS3A_AERegInterface、CUS3A_AWBRegInterface、CUS3A_AFRegInterface*来分别注册AE, AWB, AF

  • 参数

    参数名称 描述 输出/输入
    nCh nCh = 0 输入
    pAe 算法实作端提供AE库指针,若不需注册,则填NULL 输入
    pAwb 算法实作端提供AWB库指针,若不需注册,则填NULL 输入
    pAf 算法实作端提供AF库指针,若不需注册,则填NULL 输入
  • 返回值

    返回值 描述
    0 注册成功
    <0 注册失败

9. AE回调界面

int (*init)(void* pdata,ISP_AE_INIT_PARAM *init_state)
  • 说明

    ISP透过此接口通知AE库进行初始化

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    init_state AE初始值 输入
  • 返回值

    返回值 描述
    0 初始化成功
    -1 初始化失败
    void (*release)(void* pdata)
    
  • 说明

    ISP透过此接口通知AE库进行释放程序

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    void (*run)(void* pdata,const ISP_AE_INFO *info,ISP_AE_RESULT *result)
    
  • 说明

    ISP透过此接口呼叫AE库进行运算

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    info ISP AE统计值数据结构指针 输入
    result ISP AE计算结果数据结构指针 输出
    int (*ctrl)(void* pdata,ISP_AE_CTRL_CMD cmd,void* param)
    
  • 说明

    ISP透过此接口控制AE参数

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    cmd AE控制指令 输入
    param AE控制指令参数 输入

10. AE数据结构

10.1. ISP_AE_INTERFACE

  • 说明

    AE库注册结构体,算法需实作并且填写init,release,run,ctrl回调指针,供ISP 呼叫。

  • 宣告

    /**@brief ISP AE interface*/
    typedef struct
    {
        void *pdata; /**< Private data for AE algorithm.*/
        int (*init)(void* pdata, ISP_AE_INIT_PARAM *init_state);
        void (*release)(void* pdata);
        void (*run)(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result);
        int (*ctrl)(void* pdata, ISP_AE_CTRL_CMD cmd, void* param);
    } ISP_AE_INTERFACE;
    
  • 成员

    名称 描述
    pdata AE库私有数据指针
    init AE库初始化回调指标
    release AE库释放回调指针
    run AE库计算回调指标,当ISP收到一侦影像统计值时,透过该指针要求AE算法进行计算。
    ctrl AE库控制回调指标

10.2. ISP_AE_INIT_PARAM

  • 说明

    ISP透过此结构,告知AE算法相关硬件初始状态

  • 宣告

    typedef struct
    {
        U32 Size;                   /**< struct size*/
        char sensor_id[32];             /**< sensor module id*/
        U32 shutter;                /**< shutter Shutter in us*/
        U32 shutter_step;           /**< shutter Shutter step ns*/
        U32 shutter_min;            /**< shutter Shutter min us*/
        U32 shutter_max;            /**< shutter Shutter max us*/
        U32 sensor_gain;            /**< sensor_gain Sensor gain, 1X = 1024*/
        U32 sensor_gain_min;        /**< sensor_gain_min Minimum Sensor gain, 1X = 1024*/
        U32 sensor_gain_max;        /**< sensor_gain_max Maximum Sensor gain, 1X = 1024*/
        U32 isp_gain;               /**< isp_gain Isp digital gain , 1X = 1024 */
        U32 isp_gain_max;           /**< isp_gain Maximum Isp digital gain , 1X = 1024 */
        U32 FNx10;                  /**< F number * 10*/
        U32 fps;                    /**< initial frame per second*/
        U32 shutterHDRShort_step;           /**< shutter Shutter step ns*/
        U32 shutterHDRShort_min;            /**< shutter Shutter min us*/
        U32 shutterHDRShort_max;            /**< shutter Shutter max us*/
        U32 sensor_gainHDRShort_min;        /**< sensor_gain_min Minimum Sensor gain, 1X = 1024*/
        U32 sensor_gainHDRShort_max;        /**< sensor_gain_max Maximum Sensor gain, 1X = 1024*/
    
        /*CUS3A v1.1*/
        U32 AvgBlkX;                  /**< HW statistics average block number*/
        U32 AvgBlkY;                  /**< HW statistics average block number*/
    }ISP_AE_INIT_PARAM;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AE_INIT_PARAM结构长度 输入
    sensor_id[32] Image sensor名称 输入
    shutter 曝光时间初始值 us 输入
    shutter_step 曝光时间步距 ns 输入
    shutter_min 最小曝光时间 us 输入
    shutter_max 最长曝光时间 us 输入
    sensor_gain Sensor增益初始值 输入
    sensor_gain_min Sensor增益最小值 输入
    sensor_gain_max Sensor增益最大值 输入
    isp_gain Isp增益初始值 输入
    isp_gain_max Isp增益最大值 输入
    FNx10 光圈值*10 输入
    fps 每秒影像侦数 输入
    shutterHDRShort_step HDR短曝,曝光时间步距 ns 输入
    shutterHDRShort_min HDR短曝,最小曝光时间 us 输入
    shutterHDRShort_max HDR短曝,最长曝光时间 us 输入
    sensor_gainHDRShort_min HDR短曝,Sensor增益最小值 输入
    sensor_gainHDRShort_max HDR短曝,Sensor增益最大值 输入
    AvgBlkX AE统计值横向切割数量 输入
    AvgBlkY AE统计值纵向切割数量 输入

10.3. ISP_AE_INFO

  • 说明

    ISP AE 硬件统计值

  • 宣告

    /*! @brief ISP report to AE, hardware statistic */
    typedef struct
    {
        U32 Size;       /**< struct size*/
        ISP_HIST  *hist1;   /**< HW statistic histogram 1*/
        ISP_HIST  *hist2;   /**< HW statistic histogram 2*/
        U32 AvgBlkX;  /**< HW statistics average block number*/
        U32 AvgBlkY;  /**< HW statistics average block number*/
        ISP_AE_SAMPLE *avgs; /**< HW statistics average block data*/
        U32 Shutter;                    /**< Current shutter in us*/
        U32 SensorGain;                 /**< Current Sensor gain, 1X = 1024 */
        U32 IspGain;                    /**< Current ISP gain, 1X = 1024*/
        U32 ShutterHDRShort;           /**< Current shutter in us*/
        U32 SensorGainHDRShort;        /**< Current Sensor gain, 1X = 1024 */
        U32 IspGainHDRShort;           /**< Current ISP gain, 1X = 1024*/
    
        /*CUS3A v1.1*/
        U32 PreAvgY;           /**< Previous frame brightness */
        U32 HDRCtlMode;        /**< 0 = HDR off;*/
      /**< 1 = Separate shutter & Separate sensor gain settings*/
      /**< 2 = Separate shutter & Share sensor gain settings*/
      /**< 3 = Share shutter & Separate sensor gain settings*/
        U32 FNx10;             /**< Aperture in FNx10 */
        U32 CurFPS;            /**< Current sensor FPS */
        U32 PreWeightY;        /**< Previous frame brightness with ROI weight */
    
        /*CUS3A v1.2*/
        ISP_IR_HISTX *histIR;           /**< HW statistic histogram IR*/
    /*CUS3A v1.3*/
    U16 IRLightStr;    /**< Setting IR light source strength , range 0~100**/
    } ISP_AE_INFO;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AE_INFO结构长度 输入
    hist1 Histogram 1 输入
    hist2 Histogram 2 (Macaron/Pudding not support) 输入
    AvgBlkX 横向切割数量 输入
    AvgBlkY 纵向切割数量 输入
    avgs 区块亮度统计值 输入
    Shutter 统计值发生时的曝光时间 us 输入
    SensorGain 统计值发生时的Sensor Gain 1X=1024 输入
    IspGain 统计值发生时的Isp Gain 1X=1024 输入
    ShutterHDRShort 统计值发生时的曝光时间 us (HDR short) 输入
    SensorGainHDRShort 统计值发生时的Sensor Gain 1X=1024 (HDR short) 输入
    IspGainHDRShort 统计值发生时的Isp Gain 1X=1024 (HDR short) 输入
    PreAvgY 上一次AE结果的平均亮度 8bit*10 输入
    HDRCtlMode HDR mode时,sensor回传该sensor对于shutter/gain所支持的格式 输入
    FNx10 统计值发生时的FN 输入
    CurFPS 当前FPS 输入
    PreWeightY 上一次AE经过ROI weighting的平均亮度 8bit*10 输入
    histIR RGB-IR sensor时,IR信息的histogram 输入
    IRLightStr 当前IR补光照明强度 0(关闭) ~ 100(最大强度) 输入

10.4. ISP_AE_RESULT

  • 说明

    ISP AE 算法计算结果

  • 宣告

    /*! @brief ISP ae algorithm result*/
    typedef struct
    {
        U32 Size;           /**< struct size*/
        U32 Change;       /**< if true, apply this result to hw register*/
        U32 Shutter;         /**< Shutter in us */
        U32 SensorGain;      /**< Sensor gain, 1X = 1024 */
        U32 IspGain;         /**< ISP gain, 1X = 1024 */
        U32 ShutterHdrShort;     /**< Shutter in us */
        U32 SensorGainHdrShort;  /**< Sensor gain, 1X = 1024 */
        U32 IspGainHdrShort;     /**< ISP gain, 1X = 1024 */
        U32 u4BVx16384;      /**< Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv */
        U32 AvgY;       /**< frame brightness */
        U32 HdrRatio;   /**< hdr ratio, 1X = 1024 */
    
        /*CUS3A v1.1*/
        U32 FNx10;           /**< F number * 10 */
        U32 DebandFPS;      /**< Target fps when running auto debanding*/
    U32 WeightY;        /**< frame brightness with ROI weight*/
    
    /*CUS3A v1.3*/
        U16 GMBlendRatio;   /**< Adaptive Gamma Blending Ratio from AE**/
    U16 IRLightStr;    /**< Setting IR light source strength , range 0~100**/
    }ISP_AE_RESULT;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AE_RESULT结构长度 输入
    Change 通知ISP此次计算结果是否要套用到硬件 输出
    Shutter AE算法回报曝光时间us 输出
    SensorGain AE算法回报Sensor增益 1X=1024 输出
    IspGain AE算法回报ISP增益 1X=1024 输出
    ShutterHdrShort AE算法回报曝光时间us (HDR Short) 输出
    SensorGainHdrShort AE算法回报Sensor增益 1X=1024 (HDR Short) 输出
    IspGainHdrShort AE算法回报ISP增益 1X=1024 (HDR Short) 输出
    u4Bvx16384 AE算法回报目前场景亮度估测值 输出
    AvgY AE算法回报目前影像平均亮度 输出
    HdrRatio AE算法回报目前影像HDR长短曝比例1x=1024 输出
    FNx10 AE算法回报目前影像FN Number 输出
    DebandFPS AE算法回报目前影像FPS 输出
    WeightY AE算法回报目前影像经过ROI weighting的平均亮度 输出
    GMBlendRatio AE算法控制IQ AdaptiveGamma与RGBGamma的混和比例,值域1~1025,513代表直接使用RGBGamma不做混和 输出
    IRLightStr AE算法决定IR补光照明强度 0(关闭) ~ 100(最大强度) 输出

10.5. ISP_AE_CTRL_CMD

  • 说明

    AE控制指令,ISP透过回调接口

    int (*ctrl)(void* pdata,ISP_AE_CTRL_CMD cmd,void* param)
    

    设定AE参数,参数param型态随不同的控制命令改变。

  • 宣告

    typedef enum
    {
        ISP_AE_FPS_SET, /**< ISP notify AE sensor FPS has changed*/
    }ISP_AE_CTRL_CMD;
    
  • 数值

    名称 描述 参数型态
    ISP_AE_FPS_SET ISP通知AE库目前的FPS更动 U32

11. AWB回调界面

int (*init)(void* pdata)
  • 说明

    ISP透过此接口通AWB库进行初始化

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
  • 返回值

    返回值 描述
    0 初始化成功
    -1 初始化失败
    void (*release)(void* pdata)
    
  • 说明

    ISP透过此接口通知AWB库进行释放程序

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    void (*run)(void* pdata,const ISP_AWB_INFO *awb_info,const ISP_AE_INFO *ae_info,ISP_AWB_RESULT *result)
    
  • 说明

    ISP透过此接口呼叫AWB库进行运算

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    awb_info ISP AWB统计值数据结构指针 输入
    ae_info ISP AE统计值数据结构指针 输入
    result ISP AWB计算结果数据结构指针 输出
    int (*ctrl)(void* pdata,ISP_AWB_CTRL_CMD cmd,void* param)
    
  • 说明

    ISP透过此接口控制AWB参数

  • 返回值

    返回值 描述
    0 控制指令成功
    <0 注册失败
  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    cmd AWB控制指令 输入
    param AWB控制指令参数 输入

12. AWB数据结构

12.1. ISP_AWB_INTERFACE

  • 说明

    AWB库注册结构体,算法需实作并且填写init,release,run,ctrl回调指针,供ISP 呼叫。

  • 宣告

    typedef struct
    {
        void *pdata; /**< Private data for AE algorithm.*/
        int (*init)(void *pdata);
        void (*release)(void *pdata);
        void (*run)(void *pdata, const ISP_AWB_INFO *awb_info, const ISP_AE_INFO *ae_info, ISP_AWB_RESULT *result);
        int (*ctrl)(void *pdata, ISP_AWB_CTRL_CMD cmd, void* param);
    } ISP_AWB_INTERFACE
    
  • 成员

    名称 描述
    pdata AWB库私有数据指针
    init AWB库初始化回调指标
    release AWB库释放回调指针
    run AWB库计算回调指标,当ISP收到一侦影像统计值时,透过该指针要求AWB算法进行计算。
    ctrl AWB库控制回调指标

12.2. ISP_AWB_INFO

  • 说明

    ISP AWB 硬件统计值

  • 宣告

    /*! @brief AWB HW statistics data*/
    typedef struct
    {
        U32 AvgBlkX;
        U32 AvgBlkY;
        U32 CurRGain;
        U32 CurGGain;
        U32 CurBGain;
        void *avgs;
    
        /*CUS3A v1.1*/
        U8 HDRMode;       /**< Noramal or HDR mode */
        void* pAwbStatisShort;      /**< Short Shutter AWB statistic data*/
        U32 u4BVx16384;    /**< From AE output, Bv * 16384 in APEX system, EV = Av + Tv = Sv + Bv  */
        S32 WeightY;       /**< frame brightness with ROI weight0 */
    }__attribute__((packed, aligned(1))) ISP_AWB_INFO;
    
  • 成员

    参数名称 描述 输出/输入
    AvgBlkX 横向切割数量 输入
    AvgBlkY 纵向切割数量 输入
    CurRGain 反应在目前影像的AWB Gain 输入
    CurGGain 反应在目前影像的AWB Gain 输入
    CurBGain 反应在目前影像的AWB Gain 输入
    avgs ISP AWB区块RGB统计值 输入
    HDRMode 目前影像是否为HDR mode 输入
    pAwbStatisShort ISP AWB区块RGB统计值 (HDR mode下的短曝信息) 输入
    U4BVx16384 AE回传的BV信息 输入
    WeightY AE回传的ROI weighting的平均亮度 输入

12.3. ISP_AWB_RESULT

  • 说明

    ISP AWB 算法计算结果

  • 宣告

    /*! @brief AWB algorithm result*/
    typedef struct
    {
    U32 Size;       /**< struct size*/
    U32 Change;    /**< if true, apply this result to hw register*/
        U32 R_gain;     /**< AWB gain for R channel*/
        U32 G_gain;     /**< AWB gain for G channel*/
        U32 B_gain;     /**< AWB gain for B channel*/
        U32 ColorTmp;   /**< Return color temperature*/
    } ISP_AWB_RESULT;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AWB_RESULT结构长度 输入
    Change 通知ISP此次计算结果是否要套用到硬件 输出
    R_gain AWB算法回报AWB R增益1X = 1024 输出
    G_gain AWB算法回报AWB G增益1X = 1024 输出
    B_gain AWB算法回报AWB B增益1X = 1024 输出
    ColorTmp AWB算法回报目前场景色温K 输出

12.4. ISP_AWB_CTRL_CMD

  • 说明

    AWB控制指令,ISP透过回调接口

    int (*ctrl)(void* pdata,ISP_AWB_CTRL_CMD cmd,void* param)
    

    设定AE参数,参数param型态随不同的控制命令改变。

  • 宣告

    typedef enum
    {
        ISP_AWB_MODE_SET,
    }ISP_AWB_CTRL_CMD;
    
  • 数值

    名称 描述 参数型态
    ISP_AWB_MODE_SET ISP通知AWB库目前的AWB模式更动 U32

13. AF回调界面

int (*init)(void* pdata, ISP_AF_INIT_PARAM *param)
  • 说明

    ISP透过此接口通AF库进行初始化

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    param AF初始设定 输入/出
  • 返回值

    返回值 描述
    0 初始化成功
    -1 初始化失败
    void (*release)(void* pdata)
    
  • 说明

    ISP透过此接口通知AF库进行释放程序

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    void (*run)(void* pdata,const ISP_AF_INFO *af_info ,ISP_AF_RESULT *result)
    
  • 说明

    ISP透过此接口呼叫AF库进行运算

  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 输入
    af_info ISP AF统计值数据结构指针 输入
    result ISP AF计算结果数据结构指针 输出
    int (*ctrl)(void* pdata,ISP_AF_CTRL_CMD cmd,void* param) (Reserve)
    
  • 说明

    ISP透过此接口控制AF参数

  • 返回值

    返回值 描述
    0 控制指令成功
    <0 注册失败
  • 参数

    参数名称 描述 输出/输入
    pdata 算法私有数据指针 (Reserve) 输入
    cmd AF控制指令 (Reserve) 输入
    param AF控制指令参数 (Reserve) 输入

14. AF数据结构

14.1. ISP_AF_INTERFACE

  • 说明

    AF库注册结构体,算法需实作并且填写init,release,run,ctrl回调指针,供ISP 呼叫。

  • 宣告

    typedef struct isp_af_interface
    {
        void *pdata; /**< Private data for AF algorithm.*/
        int (*init)(void *pdata, ISP_AF_INIT_PARAM *param);   
    void (*release)(void *pdata);
        void (*run)(void *pdata,const ISP_AF_INFO *af_info, ISP_AF_RESULT *result);
        int (*ctrl)(void *pdata,ISP_AF_CTRL_CMD cmd,void* param);
    }ISP_AF_INTERFACE;
    
  • 成员

    名称 描述
    pdata AF库私有数据指针
    init AF库初始化回调指标
    release AF库释放回调指针
    run AF库计算回调指标,当ISP收到一侦影像统计值时,透过该指针要求AF算法进行计算。
    ctrl AF库控制回调指标

14.2. ISP_AF_INIT_PARAM

  • 说明

    ISP透过此结构,告知AF算法相关硬件初始状态

  • 宣告

    typedef struct _isp_af_init_param
    {
        u32 Size; /**< struct size*/
        ISP_AF_RECT af_stats_win[16];
    /**< CUS3A v1.3*/
        u32 CurPos; //motor current position
        u32 MinPos; //motor down position limit
        u32 MaxPos; //motor up position limit
        u32 MinStep;//motor minimum step
        u32 MaxStep;//motor maximum step
    } ISP_AF_INIT_PARAM;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AF_INIT_PARAM结构长度 输入
    Af_stats_win[16] 当前AF windows 设定值 输入
    CurPos 当前AF电机位置 输入
    MinPos AF电机下极限位置 输入
    MaxPos AF电机上极限位置 输入
    MinStep AF电机最小步阶 输入
    MaxStep AF电机最大步阶

14.3. ISP_AF_INFO

  • 说明

    ISP AF 硬件统计值

  • 宣告

    /*! @brief AF HW statistics data*/
    typedef struct
    {
        U32 Size;       /**< struct size*/
        ISP_AF_STATS pStats; /**< AF statistic*/
        u32 CurPos;     /**<motor current position*/
        u32 MinPos;     /**<motor down position limit*/
    u32 MaxPos;     /**<motor up position limit*/
    }ISP_AF_INFO;
    
  • 成员

    参数名称 描述 输出/输入
    Size ISP_AF_INFO数据结构长度 输入
    pStats ISP AF统计值 输出
    CurPos 当前AF电机位置 输入
    MinPos AF电机下极限位置 输入
    MaxPos AF电机上极限位置 输入

14.4. ISP_AF_STATS

  • 说明

    ISP AF 硬件统计值

  • 宣告

    //for Pretzel, Macaron, Pudding              //for Twinkie
    typedef struct{                         typedef struct{
        MI_U8 high_iir[5*16];                       MI_U8 high_iir[6*16];
        MI_U8 low_iir[5*16];                        MI_U8 low_iir[6*16];
        MI_U8 luma[4*16];                           MI_U8 luma[6*16];
        MI_U8 sobel_v[5*16];                        MI_U8 sobel_v[6*16];
        MI_U8 sobel_h[5*16];                        MI_U8 sobel_h[6*16];
        MI_U8 ysat[3*16];                           MI_U8 ysat[3*16];
    } AF_STATS_PARAM_t ;                        } AF_STATS_PARAM_t ;
    
    typedef struct{                         typedef struct{
        AF_STATS_PARAM_t stParaAPI[16];             AF_STATS_PARAM_t stParaAPI;
    } CusAFStats_t;                         } CusAFStats_t;
    
  • 成员

    参数名称 描述 输出/输入
    IIR_1 分区间统计的AF 水平方向IIR滤波器统计值 输出
    IIR_2 分区间统计的AF 水平方向IIR滤波器统计值 输出
    Luma 分区间统计的AF 亮度统计值 输出
    FIR_h 分区间统计的AF 水平方向FIR滤波器统计值 输出
    FIR_v 分区间统计的AF 垂直方向FIR滤波器统计值 输出
    YSat 分区间统计的AF FIR滤波器,大于YThd的统计值个数 输出
    • IIR_1 default 为 IIR Low,IIR_2 default 为 IIR High

    • 每个filter都是16组,前面九个预设对应画面的九宫格分割位置,第16个是自定义使用的,通常是拿来做touch AF。

    • IIR FIR数值越高代表画面就越清晰。Luma表示亮度。

  • 使用参考

    区间加权权重: 建议”中央权重”。

    统计值: 建议常时使用IIR_1 (IIR Low)。 IIR_2 (IIR High)在清晰时会有明显变化,但模糊时几乎不变动,适合做最清晰位置判断。 FIR 会有偏性,仅适合做强度变化参考。

14.5. ISP_AF_RESULT

  • 说明

    ISP AF 算法计算结果

  • 宣告

    /*! @brief AF algorithm result*/
    typedef struct
    {
        u32 Size;           /**< struct size*/
        u32 Change; /**< if true, apply this result to hw*/
        u32 NextPos; /**< Next position*/
    /**< CUS3A v1.3*/
        u32                   ChangeParam;      /** if true, apply the following 4 results to hw register **/
        CusAFRoiMode_t        ROIMode;          /** roi mode configuration**/
        CusAFWin_t            Window[16];       /** AF statistics window position **/
        CusAFFilter_t         Filter;           /** AF filter paramater**/
        CusAFFilterSq_t       FilterSq;         /** AF filter square parameter**/
    } ISP_AF_RESULT;
    
  • 成员

    参数名称 描述 输出/输入
    Change 通知ISP此次计算结果是否要套用到硬件 输出
    NextPos AF电机目标位置 输出
    ChangeParam 通知ISP此次是否更新 ROIMode, Window, Filter, FilterSq 输出
    ROIMode AF window ROI mode 输出
    Window AF window 位置 输出
    Filter AF滤波参数 输出
    FilterSq AF滤波后处理 输出

15. SAMPLE CODE

#include <mi_isp.h>

//// AE INTERFACE TEST ////

int ae_init(void* pdata, ISP_AE_INIT_PARAM *init_state)
{
    printf("****** ae_init ,shutter=%d,shutter_step=%d,sensor_gain_min=%d,sensor_gain_max=%d *******\n",
        (int)init_state->shutter,
        (int)init_state->shutter_step,
        (int)init_state->sensor_gain,
        (int)init_state->sensor_gain_max
        );
    return 0;
}

void ae_run(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result)
{
#define log_info 1

    // Only one can be chosen (the following three define)
#define shutter_test 0
#define gain_test 0
#define AE_sample 1

#if (shutter_test) || (gain_test)
    static int AE_period = 4;
#endif
    static unsigned int fcount = 0;
    unsigned int max = info->AvgBlkY * info->AvgBlkX;
    unsigned int avg = 0;
    unsigned int n;
#if gain_test
    static int tmp = 0;
    static int tmp1 = 0;
#endif

    result->Change              = 0;
    result->u4BVx16384          = 16384;
    result->HdrRatio            = 10; //infinity5 //TBD //10 * 1024;   //user define hdr exposure ratio
    result->IspGain             = 1024;
    result->SensorGain          = 4096;
    result->Shutter             = 20000;
    result->IspGainHdrShort     = 1024;
    result->SensorGainHdrShort  = 1024;
    result->ShutterHdrShort     = 1000;
    //result->Size         = sizeof(CusAEResult_t);

    for(n = 0; n < max; ++n)
    {
        avg += info->avgs[n].y;
    }
    avg /= max;

    result->AvgY         = avg;

#if shutter_test // shutter test under constant sensor gain
    int Shutter_Step = 100; //per frame
    int Shutter_Max = 33333;
    int Shutter_Min = 150;
    int Gain_Constant = 10240;

    result->SensorGain = Gain_Constant;
    result->Shutter = info->Shutter;

    if(++fcount % AE_period == 0)
    {
        if (tmp == 0)
        {
            result->Shutter = info->Shutter + Shutter_Step * AE_period;
            //printf("[shutter-up] result->Shutter = %d \n", result->SensorGain);
        }
        else
        {
            result->Shutter = info->Shutter - Shutter_Step * AE_period;
            //printf("[shutter-down] result->Shutter = %d \n", result->SensorGain);
        }
        if (result->Shutter >= Shutter_Max)
        {
            result->Shutter = Shutter_Max;
            tmp = 1;
        }
        if (result->Shutter <= Shutter_Min)
        {
            result->Shutter = Shutter_Min;
            tmp = 0;
        }
    }
#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("tmp = %d, Shutter: %d -> %d \n", tmp, info->Shutter, result->Shutter);
#endif
#endif

#if gain_test // gain test under constant shutter
    int Gain_Step = 1024; //per frame
    int Gain_Max = 1024 * 100;
    int Gain_Min = 1024 * 2;
    int Shutter_Constant = 20000;

    result->SensorGain = info->SensorGain;
    result->Shutter = Shutter_Constant;

    if(++fcount % AE_period == 0)
    {
        if (tmp1 == 0)
        {
            result->SensorGain = info->SensorGain + Gain_Step * AE_period;
            //printf("[gain-up] result->SensorGain = %d \n", result->SensorGain);
        }
        else
        {
            result->SensorGain = info->SensorGain - Gain_Step * AE_period;
            //printf("[gain-down] result->SensorGain = %d \n", result->SensorGain);
        }
        if (result->SensorGain >= Gain_Max)
        {
            result->SensorGain = Gain_Max;
            tmp1 = 1;
        }
        if (result->SensorGain <= Gain_Min)
        {
            result->SensorGain = Gain_Min;
            tmp1 = 0;
        }
    }
#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("tmp = %d, SensorGain: %d -> %d \n", tmp, info->SensorGain, result->SensorGain);
#endif
#endif

#if AE_sample
    int y_lower = 0x28;
    int y_upper = 0x38;
    int change_ratio = 10; // percentage
    int Gain_Min = 1024 * 2;
    int Gain_Max = 1024 * 1000;
    int Shutter_Min = 150;
    int Shutter_Max = 33333;

    result->SensorGain = info->SensorGain;
    result->Shutter = info->Shutter;

    if(avg < y_lower)
    {
        if (info->Shutter < Shutter_Max)
        {
            result->Shutter = info->Shutter + (info->Shutter * change_ratio / 100);
            if (result->Shutter > Shutter_Max) result->Shutter = Shutter_Max;
        }
        else
        {
            result->SensorGain = info->SensorGain + (info->SensorGain * change_ratio / 100);
            if (result->SensorGain > Gain_Max) result->SensorGain = Gain_Max;
        }
        result->Change = 1;
    }
    else if(avg > y_upper)
    {
        if (info->SensorGain > Gain_Min)
        {
            result->SensorGain = info->SensorGain - (info->SensorGain * change_ratio / 100);
            if (result->SensorGain < Gain_Min) result->SensorGain = Gain_Min;
        }
        else
        {
            result->Shutter = info->Shutter - (info->Shutter * change_ratio / 100);
            if (result->Shutter < Shutter_Min) result->Shutter = Shutter_Min;
        }
        result->Change = 1;
    }

#if 0 //infinity5 //TBD
    //hdr demo code
    result->SensorGainHdrShort = result->SensorGain;
    result->ShutterHdrShort = result->Shutter * 1024 / result->HdrRatio;
#endif

#if log_info
    printf("fcount = %d, Image avg = 0x%X \n", fcount, avg);
    printf("SensorGain: %d -> %d \n", (int)info->SensorGain, (int)result->SensorGain);
    printf("Shutter: %d -> %d \n", (int)info->Shutter, (int)result->Shutter);
#endif

#endif
}

void ae_release(void* pdata)
{
    printf("************* ae_release *************\n");
}

//// AWB INTERFACE TEST ////

int awb_init(void *pdata)
{
    printf("************ awb_init **********\n");
    return 0;
}

void awb_run(void* pdata, const ISP_AWB_INFO *info, ISP_AWB_RESULT *result)
{
#define log_info 1

    static u32 count = 0;
    int avg_r = 0;
    int avg_g = 0;
    int avg_b = 0;
    int tar_rgain = 1024;
    int tar_bgain = 1024;
    int x = 0;
    int y = 0;

    result->R_gain = info->CurRGain;
    result->G_gain = info->CurGGain;
    result->B_gain = info->CurBGain;
    result->Change = 0;
    result->ColorTmp = 6000;

    if (++count % 4 == 0)
    {
        //center area YR/G/B avg
        for (y = 30; y < 60; ++y)
        {
            for (x = 32; x < 96; ++x)
            {
                avg_r += info->avgs[info->AvgBlkX * y + x].r;
                avg_g += info->avgs[info->AvgBlkX * y + x].g;
                avg_b += info->avgs[info->AvgBlkX * y + x].b;
            }
        }
        avg_r /= 30 * 64;
        avg_g /= 30 * 64;
        avg_b /= 30 * 64;

        if (avg_r < 1)
            avg_r = 1;
        if (avg_g < 1)
            avg_g = 1;
        if (avg_b < 1)
            avg_b = 1;

#if log_info
        printf("AVG R / G / B = %d, %d, %d \n", avg_r, avg_g, avg_b);
#endif

        // calculate Rgain, Bgain
        tar_rgain = avg_g * 1024 / avg_r;
        tar_bgain = avg_g * 1024 / avg_b;

        if (tar_rgain > info->CurRGain)
        {
            if (tar_rgain - info->CurRGain < 384)
                result->R_gain = tar_rgain;
            else
                result->R_gain = info->CurRGain + (tar_rgain - info->CurRGain) / 10;
        }
        else
        {
            if (info->CurRGain - tar_rgain < 384)
                result->R_gain = tar_rgain;
            else
                result->R_gain = info->CurRGain - (info->CurRGain - tar_rgain) / 10;
        }

        if (tar_bgain > info->CurBGain)
        {
            if (tar_bgain - info->CurBGain < 384)
                result->B_gain = tar_bgain;
            else
                result->B_gain = info->CurBGain + (tar_bgain - info->CurBGain) / 10;
        }
        else
        {
            if (info->CurBGain - tar_bgain < 384)
                result->B_gain = tar_bgain;
            else
                result->B_gain = info->CurBGain - (info->CurBGain - tar_bgain) / 10;
        }

        result->Change = 1;
        result->G_gain = 1024;

#if log_info
        printf("[current] r=%d, g=%d, b=%d \n", (int)info->CurRGain, (int)info->CurGGain, (int)info->CurBGain);
        printf("[result] r=%d, g=%d, b=%d \n", (int)result->R_gain, (int)result->G_gain, (int)result->B_gain);
#endif
    }
}

void awb_release(void *pdata)
{
    printf("************ awb_release **********\n");
}

//// AF INTERFACE TEST ////

int af_init(void *pdata, ISP_AF_INIT_PARAM *param)
{
    MI_U32 u32ch = 0;
    MI_U8 u8win_idx = 16;
    CusAFRoiMode_t taf_roimode;
    CusAFWin_t taf_win;

    printf("************ af_init **********\n");
#if 1
    //Init Normal mode setting
    static CusAFWin_t afwin[16] =
    {
        { 0, {   0,    0,  255,  255}},
        { 1, { 256,    0,  511,  255}},
        { 2, { 512,    0,  767,  255}},
        { 3, { 768,    0, 1023,  255}},
        { 4, {   0,  256,  255,  511}},
        { 5, { 256,  256,  511,  511}},
        { 6, { 512,  256,  767,  511}},
        { 7, { 768,  256, 1023,  511}},
        { 8, {   0,  512,  255,  767}},
        { 9, { 256,  512,  511,  767}},
        {10, { 512,  512,  767,  767}},
        {11, { 768,  512, 1023,  767}},
        {12, {   0,  768,  255, 1023}},
        {13, { 256,  768,  511, 1023}},
        {14, { 512,  768,  767, 1023}},
        {15, { 768,  768, 1023, 1023}}
    };
    for(u8win_idx = 0; u8win_idx < 16; ++u8win_idx){
        MI_ISP_CUS3A_SetAFWindow(u32ch, &afwin[u8win_idx]);
    }

taf_roimode.mode = AF_ROI_MODE_NORMAL;
    taf_roimode.u32_vertical_block_number = 1;
    MI_ISP_CUS3A_SetAFRoiMode(u32ch, &taf_roimode);

#else
    //Init Matrix mode setting
    static CusAFWin_t afwin[16] =
    {
#if 1
        //full image, equal divide to 16x16
        //window setting need to multiple of two
        {0, {16, 0, 62, 62}},
        {1, {64, 64, 126, 126}},
        {2, {128, 128, 190, 190}},
        {3, {192, 192, 254, 254}},
        {4, {256, 256, 318, 318}},
        {5, {320, 320, 382, 382}},
        {6, {384, 384, 446, 446}},
        {7, {448, 448, 510, 510}},
        {8, {512, 512, 574, 574}},
        {9, {576, 576, 638, 638}},
        {10, {640, 640, 702, 702}},
        {11, {704, 704, 766, 766}},
        {12, {768, 768, 830, 830}},
        {13, {832, 832, 894, 894}},
        {14, {896, 896, 958, 958}},
        {15, {960, 960, 1022, 1022}}
#else
        //use two row only => 16x2 win
        {0, {16, 0, 62, 62}},
        {1, {64, 64, 126, 126}},
        {2, {128, 0, 190, 2}},      //win2 v_str, v_end doesn't use, set to (0, 2)
        {3, {192, 0, 254, 2}},
        {4, {256, 0, 318, 2}},
        {5, {320, 0, 382, 2}},
        {6, {384, 0, 446, 2}},
        {7, {448, 0, 510, 2}},
        {8, {512, 0, 574, 2}},
        {9, {576, 0, 638, 2}},
        {10, {640, 0, 702, 2}},
        {11, {704, 0, 766, 2}},
        {12, {768, 0, 830, 2}},
        {13, {832, 0, 894, 2}},
        {14, {896, 0, 958, 2}},
        {15, {960, 0, 1022, 2}}        
#endif
    };

    for(u8win_idx = 0; u8win_idx < 16; ++u8win_idx){
        MI_ISP_CUS3A_SetAFWindow(u32ch, &afwin[u8win_idx]);
    }

taf_roimode.mode = AF_ROI_MODE_MATRIX;
    taf_roimode.u32_vertical_block_number = 16; //16xN, N=16
    MI_ISP_CUS3A_SetAFRoiMode(u32ch, &taf_roimode);

#endif

    static CusAFFilter_t affilter =
    {
#if Twinkie || Pretzel || Macaron
        //filter setting with sign value
        //{63, -126, 63, -109, 48, 0, 320, 0, 1023},
        //{63, -126, 63, 65, 55, 0, 320, 0, 1023}

        //convert to hw format (sign bit with msb)
        63, 126+1024, 63, 109+128, 48, 0, 320, 0, 1023,
        63, 126+1024, 63, 65, 55, 0, 320, 0, 1023,
#elseif Pudding
        //filter setting with sign value
        //{s9, s10, s9, s7, s7}
        //high: 37, 0, -37, 83, 40; 37, 0, -37, -54, 34; 32, 0, -32, 14, 0
        //low:  15, 0, -15, -79, 44; 15, 0, -15, -115, 55; 14, 0, -14, -91, 37

        //convert to hw format (sign bit with msb)
        37, 0, 37+512, 83, 40, 0, 1023, 0, 1023,    //high
        15, 0, 15+512, 79+128, 44, 0, 1023, 0, 1023,    //low
        1, 37, 0, 37+512,  54+128, 34, 1, 32, 0, 32+512, 14, 0, //high-e1, e2
        1, 15, 0, 15+512, 115+128, 55, 1, 14, 0, 14+512, 91+128, 37,  //low-e1, e2
#endif
    };

    MI_ISP_CUS3A_SetAFFilter(0, &affilter);
    return 0;
}

void af_run(void *pdata, const ISP_AF_INFO *af_info, ISP_AF_RESULT *result)
{
    #define af_log_info 1

#if af_log_info
    int i=0,x=0;

    printf("\n\n");

    //print row0 16wins
    x=0;
    for (i=0; i<16; i++){
        printf("[AF]win%d-%d iir0: 0x%02x%02x%02x%02x%02x, iir1:0x%02x%02x%02x%02x%02x, luma:0x%02x%02x%02x%02x, sobelh:0x%02x%02x%02x%02x%02x, sobelv:0x%02x%02x%02x%02x%02x ysat:0x%02x%02x%02x\n",
            x, i,
            af_info->af_stats.stParaAPI[x].high_iir[4+i*5],af_info->af_stats.stParaAPI[x].high_iir[3+i*5],af_info->af_stats.stParaAPI[x].high_iir[2+i*5],af_info->af_stats.stParaAPI[x].high_iir[1+i*5],af_info->af_stats.stParaAPI[x].high_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].low_iir[4+i*5],af_info->af_stats.stParaAPI[x].low_iir[3+i*5],af_info->af_stats.stParaAPI[x].low_iir[2+i*5],af_info->af_stats.stParaAPI[x].low_iir[1+i*5],af_info->af_stats.stParaAPI[x].low_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].luma[3+i*4],af_info->af_stats.stParaAPI[x].luma[2+i*4],af_info->af_stats.stParaAPI[x].luma[1+i*4],af_info->af_stats.stParaAPI[x].luma[0+i*4],
            af_info->af_stats.stParaAPI[x].sobel_h[4+i*5],af_info->af_stats.stParaAPI[x].sobel_h[3+i*5],af_info->af_stats.stParaAPI[x].sobel_h[2+i*5],af_info->af_stats.stParaAPI[x].sobel_h[1+i*5],af_info->af_stats.stParaAPI[x].sobel_h[0+i*5],
            af_info->af_stats.stParaAPI[x].sobel_v[4+i*5],af_info->af_stats.stParaAPI[x].sobel_v[3+i*5],af_info->af_stats.stParaAPI[x].sobel_v[2+i*5],af_info->af_stats.stParaAPI[x].sobel_v[1+i*5],af_info->af_stats.stParaAPI[x].sobel_v[0+i*5],
            af_info->af_stats.stParaAPI[x].ysat[2+i*3],af_info->af_stats.stParaAPI[x].ysat[1+i*3],af_info->af_stats.stParaAPI[x].ysat[0+i*3]
            );
    }

    //print row15 16wins
    x=15;
    for (i=0; i<16; i++){
        printf("[AF]win%d-%d iir0: 0x%02x%02x%02x%02x%02x, iir1:0x%02x%02x%02x%02x%02x, luma:0x%02x%02x%02x%02x, sobelh:0x%02x%02x%02x%02x%02x, sobelv:0x%02x%02x%02x%02x%02x ysat:0x%02x%02x%02x\n",
            x, i,
            af_info->af_stats.stParaAPI[x].high_iir[4+i*5],af_info->af_stats.stParaAPI[x].high_iir[3+i*5],af_info->af_stats.stParaAPI[x].high_iir[2+i*5],af_info->af_stats.stParaAPI[x].high_iir[1+i*5],af_info->af_stats.stParaAPI[x].high_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].low_iir[4+i*5],af_info->af_stats.stParaAPI[x].low_iir[3+i*5],af_info->af_stats.stParaAPI[x].low_iir[2+i*5],af_info->af_stats.stParaAPI[x].low_iir[1+i*5],af_info->af_stats.stParaAPI[x].low_iir[0+i*5],
            af_info->af_stats.stParaAPI[x].luma[3+i*4],af_info->af_stats.stParaAPI[x].luma[2+i*4],af_info->af_stats.stParaAPI[x].luma[1+i*4],af_info->af_stats.stParaAPI[x].luma[0+i*4],
            af_info->af_stats.stParaAPI[x].sobel_h[4+i*5],af_info->af_stats.stParaAPI[x].sobel_h[3+i*5],af_info->af_stats.stParaAPI[x].sobel_h[2+i*5],af_info->af_stats.stParaAPI[x].sobel_h[1+i*5],af_info->af_stats.stParaAPI[x].sobel_h[0+i*5],
            af_info->af_stats.stParaAPI[x].sobel_v[4+i*5],af_info->af_stats.stParaAPI[x].sobel_v[3+i*5],af_info->af_stats.stParaAPI[x].sobel_v[2+i*5],af_info->af_stats.stParaAPI[x].sobel_v[1+i*5],af_info->af_stats.stParaAPI[x].sobel_v[0+i*5],
            af_info->af_stats.stParaAPI[x].ysat[2+i*3],af_info->af_stats.stParaAPI[x].ysat[1+i*3],af_info->af_stats.stParaAPI[x].ysat[0+i*3]
            );
    }
#endif}

void af_release(void *pdata)
{
    printf("************ af_release **********\n");
}

int main(int argc,char** argv)
{
    //TO DO: Register 3rd party AE/AWB library
    ISP_AE_INTERFACE tAeIf;
    ISP_AWB_INTERFACE tAwbIf;

    CUS3A_Init();

    /*AE*/
    tAeIf.ctrl = NULL;
    tAeIf.pdata = NULL;
    tAeIf.init = ae_init;
    tAeIf.release = ae_release;
    tAeIf.run = ae_run;

    /*AWB*/
    tAwbIf.ctrl = NULL;
    tAwbIf.pdata = NULL;
    tAwbIf.init = awb_init;
    tAwbIf.release = awb_release;
    tAwbIf.run = awb_run;

CUS3A_RegInterface(0,&tAeIf,&tAwbIf,NULL);
// or use below reginterface
//CUS3A_AERegInterface(0,&tAeIf);
//CUS3A_AWBRegInterface(0,&tAwbIf);

//TO DO: Open MI
MI_SYS_Init();
while(1)
{
usleep(5000);
}
}

15.1. CUS3A_AeAvgDownSample

这边提供一个转换函式,将AE出来的统计值,从32x32缩小为16x16的sample code

void ae_run(void* pdata, const ISP_AE_INFO *info, ISP_AE_RESULT *result)
{
        ISP_AE_SAMPLE *pInBuf = info->avgs;
        ISP_AE_SAMPLE *pOutBuf = info->avgs;
        unsigned int u32InBlkNumX = info->AvgBlkX;  //value is 32 for MACARON, PUDDING
        unsigned int u32InBlkNumY = info->AvgBlkY;  //value is 32 for MACARON, PUDDING
        unsigned int u32OutBlkNumX = 16;
        unsigned int u32OutBlkNumY = 16;

        CUS3A_AeAvgDownSample(pInBuf, pOutBuf, u32InBlkNumX, u32InBlkNumY, u32OutBlkNumX, u32OutBlkNumY);
        max = u32OutBlkNumX*u32OutBlkNumY;
}

16. MI_ISP 设置AE CROP RANGE

16.1. MI_ISP_CUS3A _SetAECropSize

  • 目的

    设定AE的统计值范围

  • 语法

    MI_RET MI_ISP_CUS3A_SetAECropSize(U32 nChannel, CusAEAWBCropSize_t *data);
    
  • 描述

    1. MI_ISP_CUS3A_SetAECropSize: 调用此界面设置AE的统计值范围

    2. MI_ISP_CUS3A_SetAEWindowBlockNumber: 针对统计值范围内的区域,切成MxN的Block来获得统计值

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data 设定AE统计值的范围
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

16.2. CusAEAWBCropSize_t

  • 说明

    AE统计值范围

  • 定义

    typedef struct {
        MI_U16 u2CropX;
        MI_U16 u2CropY;
        MI_U16 u2CropW;
        MI_U16 u2CropH;
    } CusAEAWBCropSize_t;
    
  • 成员

    参数名称 描述
    U2CropX AE/AWB统计值范围的X起点 (0~1023)
    U2CropY AE/AWB统计值范围的Y起点 (0~1023)
    U2CropW AE/AWB统计值范围的宽度 (0~1023)
    U2CropH AE/AWB统计值范围的高度 (0~1023)
  • CropSize说明

  • 注意

    影像宽高已经对应到1023,所以Crop信息,都以1023来看,FW会自动取目前实际影像大小,做mapping动作,所以用户不需知道当前影像大小多少,只要设定相对位置就好。

  • 举例

    设定 CropX = 10,CropY = 10,CropW = 300,CropH = 200

    若实际影像宽高为1920x1080, 则反应在1920x1080上是:

    CropX = 1920*10/1023 = 18

    CropY = 1080*10/1023 = 10

    CropW = 1920*300/1023 = 563

    CropH = 1080*200/1023 = 211


17. MI_ISP 设置AE BLOCK NUMBER

17.1. MI_ISP_CUS3A_SetAEWindowBlockNumber

  • 目的

    设定AE的区块数量

  • 语法

    MI_RET MI_ISP_CUS3A_SetAEWindowBlockNumber(U32 nChannel, MS_CUST_AE_WIN_BLOCK_NUM_TYPE_e eBlkNum);
    
  • 描述

    调用此界面设置AE区块数量

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    eBlkNum 区块个数,将整张照片切割成X*Y格
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

17.2. MS_CUST_AE_WIN_BLOCK_NUM_TYPE_e

  • 说明

    AE区块

  • 定义

    typedef enum {
        AE_16x24 = 0,
        AE_32x24,
        AE_64x48,
        AE_64x45,
        AE_128x80,
        AE_128x90
    } AeWinBlockNum_e;
    
  • 成员

    参数名称 描述
    AE_16x24 画面分割成16*24块
    AE_32x24 画面分割成32*24块
    AE_64x48 画面分割成64*48块
    AE_64x45 画面分割成64*45块
    AE_128x80 画面分割成128*80块
    AE_128x90 画面分割成128*90块

  • 备注

    Macaron, Pudding不支持这支API,画面强制分割成32*32块。


18. MI_ISP 设置AE HISTOGRAM WINDOW

18.1. MI_ISP_CUS3A_SetAEHistogramWindow

  • 目的

    AE亮度分布统计值的窗口区域设定

  • 语法

    MI_RET MI_ISP_CUS3A_SetAEHistogramWindow(MI_U32 Channel, CusAEHistWin_t *data);
    
  • 描述

    调用此接口设置AE亮度分布统计值的窗口区域位置及大小

  • 成员

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data 亮度分布统计值的窗口区域位置及大小,窗口编号(0或1)
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

  • 注意

    目前只能支持同时设定两个窗口(0/1)。窗口区域可以重叠。

18.2. HistWin_t

  • 说明

    AE亮度分布统计值的窗口区域设定

  • 定义

    typedef struct {
        MI_U16 u2Stawin_x_offset;
        MI_U16 u2Stawin_x_size;
        MI_U16 u2Stawin_y_offset;
        MI_U16 u2Stawin_y_size;
        MI_U16 u2WinIdx;
    } CusAEHistWin_t;
    
  • 成员

    参数名称 描述
    u2Stawin_x_offset 窗口起始坐标x轴偏移
    u2Stawin_x_size x轴方向窗口大小
    u2Stawin_y_offset 窗口起始坐标y轴偏移
    u2Stawin_y_size y轴方向窗口大小
    u2WinIdx 窗口编号(0或1)
  • 参数范围

    X轴偏移:0~127

    Y轴偏移:0~89

    X轴(偏移+大小) <= 128

    Y轴(偏移+大小) <= 90

  • 备注

    在Macaron, Pudding中,参数范围如下。

    X轴偏移:0~31

    Y轴偏移:0~31

    X轴(偏移+大小) <= 32

    Y轴(偏移+大小) <= 32


19. MI_ISP 设置AWB CROP RANGE

19.1. MI_ISP_CUS3A _SetAWBCropSize

  • 目的

    设定AWB的统计值范围

  • 语法

    MI_RET MI_ISP_CUS3A_SetAWBCropSize(U32 nChannel, CusAEAWBCropSize_t *data);
    
  • 描述

    1. MI_ISP_CUS3A_SetAWBCropSize: 调用此界面设置AWB的统计值范围

    2. 硬件针对此统计值范围,再固定切为128x90 个block

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data 设定AWB统计值的范围
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

19.2. CusAWBCropSize_t

  • 说明

    AWB统计值范围

  • 定义

    typedef struct {
        MI_U16 u2CropX;
        MI_U16 u2CropY;
        MI_U16 u2CropW;
        MI_U16 u2CropH;
    } CusAEAWBCropSize_t;
    
  • 成员

    参数名称 描述
    U2CropX AE/AWB统计值范围的X起点 (0~1023)
    U2CropY AE/AWB统计值范围的Y起点 (0~1023)
    U2CropW AE/AWB统计值范围的宽度 (0~1023)
    U2CropH AE/AWB统计值范围的高度 (0~1023)
  • CropSize说明

  • 注意

    影像宽高已经对应到1023,所以Crop信息,都以1023来看,FW会自动取目前实际影像大小,做mapping动作,所以用户不需知道当前影像大小多少,只要设定相对位置就好。

  • 举例

    设定 CropX = 10,CropY = 10,CropW = 300,CropH = 200

    若实际影像宽高为1920x1080

    则反应在1920x1080上,会是

    CropX = 1920*10/1023 = 18

    CropY = 1080*10/1023 = 10

    CropW = 1920*300/1023 = 563

    CropH = 1080*200/1023 = 211


20. MI_ISP 设置AWB SAMPLING

20.1. MI_ISP_CUS3A_SetAwbSampling

  • 目的

    设定AWB取样大小

  • 语法

    MI_RET MI_ISP_CUS3A_SetAwbSampling(U32 nChannel, CusAWBSample_t *data)
    
  • 描述

    调用此界面设置AWB取样大小

  • 成员

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    SizeX X轴上取多少个取样点
    SizeY Y轴上取多少个取样点
    IncRatio 对统计值乘上一个比例
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

  • 注意事项

    整张照片已经切割成128*90格,每个格子中取其中SizeX * SizeY个pixels做AWB取样。

    SizeX:SizeX >=4 && SizeX <= Block_size_X

    SizeY:SizeY >=2 && SizeY <= Block_size_Y

    当AE亮度很低的时候,可将统计值乘上一个比例(IncRatio),避免统计值为0


21. MI_ISP 设置AF FILTER

21.1. MI_ISP_CUS3A_SetAFFilter

  • 目的

    设定AF Filter参数

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFFilter (MI_U32 Channel, CusAFFilter_t *data);
    
  • 描述

    调用此界面设置AF Filter参数

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF Filter参数
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

21.2. CusAFFilter_t

  • 说明

    ISP AF 硬件统计值

  • 定义

    typedef struct
    {
        MI_U16 u16IIR1_a0;
        MI_U16 u16IIR1_a1;
        MI_U16 u16IIR1_a2;
        MI_U16 u16IIR1_b1;
        MI_U16 u16IIR1_b2;
        MI_U16 u16IIR1_1st_low_clip;
        MI_U16 u16IIR1_1st_high_clip;
        MI_U16 u16IIR1_2nd_low_clip;
        MI_U16 u16IIR1_2nd_high_clip;
        MI_U16 u16IIR2_a0;
        MI_U16 u16IIR2_a1;
        MI_U16 u16IIR2_a2;
        MI_U16 u16IIR2_b1;
        MI_U16 u16IIR2_b2;
        MI_U16 u16IIR2_1st_low_clip;
        MI_U16 u16IIR2_1st_high_clip;
        MI_U16 u16IIR2_2nd_low_clip;
        MI_U16 u16IIR2_2nd_high_clip;
    
        //for Pudding only
        MI_U16 u16IIR1_e1_en;
        MI_U16 u16IIR1_e1_a0;
        MI_U16 u16IIR1_e1_a1;
        MI_U16 u16IIR1_e1_a2;
        MI_U16 u16IIR1_e1_b1;
        MI_U16 u16IIR1_e1_b2;
        MI_U16 u16IIR1_e2_en;
        MI_U16 u16IIR1_e2_a0;
        MI_U16 u16IIR1_e2_a1;
        MI_U16 u16IIR1_e2_a2;
        MI_U16 u16IIR1_e2_b1;
        MI_U16 u16IIR1_e2_b2;
    
        MI_U16 u16IIR2_e1_en;
        MI_U16 u16IIR2_e1_a0;
        MI_U16 u16IIR2_e1_a1;
        MI_U16 u16IIR2_e1_a2;
        MI_U16 u16IIR2_e1_b1;
        MI_U16 u16IIR2_e1_b2;
        MI_U16 u16IIR2_e2_en;
        MI_U16 u16IIR2_e2_a0;
        MI_U16 u16IIR2_e2_a1;
        MI_U16 u16IIR2_e2_a2;
        MI_U16 u16IIR2_e2_b1;
        MI_U16 u16IIR2_e2_b2;
    } CusAFFilter_t;
    
  • 成员

    IIR参数如下

    名称 bit表示 描述 IIR1 default IIR2 default
    a0 S+9 a0乘法器 63 63
    a1 S+10 a1乘法器 -126 -126
    a2 S+9 a2乘法器 63 63
    b1 S+7 b1乘法器 65 -109
    b2 S+7 b2乘法器 55 48
    1st_low_clip 10 X(n) input low clip 0 0
    1st_high_clip 10 X(n) input high clip 320 320
    2nd_low_clip 10 Y(n) output low clip 0 0
    2nd_high_clip 10 Y(n) output high clip 1023 1023

    IIR1 default 为 IIR High,IIR2 default 为 IIR Low

    //Pudding only

    名称 bit表示 描述 IIR1 default IIR2 default
    a0 S+9 a0乘法器 37 15
    a1 S+10 a1乘法器 0 0
    a2 S+9 a2乘法器 -37 -15
    b1 S+7 b1乘法器 83 -79
    b2 S+7 b2乘法器 40 44
    1st_low_clip 10 X(n) input low clip 0 0
    1st_high_clip 10 X(n) input high clip 1023 1023
    2nd_low_clip 10 Y(n) output low clip 0 0
    2nd_high_clip 10 Y(n) output high clip 1023 1023
    e1_en 1 Extra1 enable 1 1
    e1_a0 S+9 a0乘法器 37 15
    e1_a1 S+10 a1乘法器 0 0
    e1_a2 S+9 a2乘法器 -37 -15
    e1_b1 S+7 b1乘法器 -54 -115
    e1_b2 S+7 b2乘法器 34 55
    e2_en 1 Extra2 enable 1 1
    e2_a0 S+9 a0乘法器 32 14
    e2_a1 S+10 a1乘法器 0 0
    e2_a2 S+9 a2乘法器 -32 -14
    e2_b1 S+7 b1乘法器 14 -91
    e2_b2 S+7 b2乘法器 0 37

    IIR1 default 为 IIR High,IIR2 default 为 IIR Low

    IIR 系数,架构图如下:

  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)


22. MI_ISP 设置AF FILTER SQUARE

22.1. MI_ISP_CUS3A_SetAFFilterSq

  • 目的

    设定AF Filter Square参数

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFFilterSq (MI_U32 Channel, CusAFFilterSq_t *data);
    
  • 描述

    调用此界面设置AF Filter Square参数

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF Filter Square参数
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

22.2. CusAFFilterSq_t

  • 说明

    ISP AF Square硬件统计值

  • 定义

    typedef struct
    {
        MI_BOOL bFIRYSatEn;
        MI_U16 u16FIRYThd;
    
        MI_BOOL bIIRSquareAccEn;
        MI_BOOL bFIRSquareAccEn;
    
        MI_U16 u16IIR1Thd;
        MI_U16 u16IIR2Thd;
        MI_U16 u16FIRHThd;
        MI_U16 u16FIRVThd;
        MI_U8 u8AFTblX[12];
        MI_U16 u16AFTblY[13];
    } CusAFFilter_t;
    
  • 成员

    名称 描述
    bFIRYSatEn 此开关包含两种动作:
    FIR Filter Y阈值控制
    Y_sat统计值的设定控制
    u16FIRYThd 当bFIRYSatEn = 1
    FIR Filter Y阀值控制:
    则pixel亮度小于u16FIRYThd时,就会列入FIR Filter计算中
    Y_sat统计值的设定控制:
    回传大于u16FIRYThd的pixel个数,反应在Y_sat统计值中
    数值范围: 0 ~ 1023。
    bIIRSquareAccEn IIR Filter 增强控制
    bFIRSquareAccEn FIR Filter 增强控制
    u16IIR1Thd IIR Filter Output = IIR Filter Output – IIRThd。数值范围: 0 ~ 1023。
    u16IIR2Thd IIR Filter Output = IIR Filter Output – IIRThd。数值范围: 0 ~ 1023。
    u16FIRHThd FIR Filter Output = FIR Filter Output – FIR Thd。数值范围: 0 ~ 1023。
    u16FIRVThd FIR Filter Output = FIR Filter Output – FIR Thd。数值范围: 0 ~ 1023。
    u8AFTblX[12] 针对IIR与FIR Filter,做一个non-linear的mapping u8AFTblX为横轴,节点为二的幂次方累加,累加起来需大于1024。数值范围: 0 ~ 15。
    u16AFTblY[13] 针对IIR与FIR Filter,做一个non-linear的mapping u8AFTblY为纵轴,数值范围: 0 ~ 8191。

    SquareACC使用时机,针对中高对比度的粗边反差,做放大的动作。且低于Thd的值,会砍为0,用来抗低照下的噪点。

    参考设定 (统计值放大效果)

    u8AFTblX = 6,7,7,6,6,6,7,6,6,7,6,6

    u16AFTblY = 0,1,53,249,431,685,1023,1999,2661,3455,5487,6749,8191

    参考设定 (统计值保持原状)

    u8AFTblX = 6,7,7,6,6,6,7,6,6,7,6,6

    u16AFTblY = 0,64,192,320,384,448,512,640,704,768,896,960,1023

  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

  • 备注

    Twinkie不支持这支API。


23. MI_ISP 设置AF ROI MODE

23.1. MI_ISP_CUS3A_SetAFRoiMode

  • 目的

    设定AF统计值的模式

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFRoiMode (U32 nChannel, CusAFRoiMode_t *data);
    
  • 描述

    调用此界面设置AWB统计值来源

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF统计值的模式
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

23.2. CusAFRoiMode_t

  • 描述

    设定AF统计值的模式

  • 定义

    typedef enum __attribute__ ((aligned (1)))
    {
        AF_ROI_MODE_NORMAL,
        AF_ROI_MODE_MATRIX
    } ISP_AF_ROI_MODE_e;
    
    typedef struct
    {
        ISP_AF_ROI_MODE_e mode;
        MI_U32 u32_vertical_block_number;
    } CusAFRoiMode_t;
    
  • 成员

    名称 描述
    mode AF_ROI_MODE_NORMAL: 可切为16组ROI,window size与位置可随意分割,默认为此模式。 AF_ROI_MODE_MATRIX: 可切为16 * N组ROI,window size与位置稍有限制,但可切较多区块。(N= u32_vertical_block_number)
    u32_vertical_block_number If mode = AF_ROI_MODE_MATRIX 可切为16 * N组ROI。(N= u32_vertical_block_number, 1~16)

    AF_ROI_MODE_NORMAL: AF ROI切割方式

    AF_ROI_MODE_MATRIX: AF ROI切割方式

    横轴,固定有16个

    纵轴,会依据u32_vertical_block_number,来决定有几组16个ROI,上图为u32_vertical_block_number=16,就有 16*16 组ROI

  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)

  • 备注

    Twinkie不支持这支API。


24. MI_ISP 设置AF WINDOW

24.1. MI_ISP_CUS3A_SetAFWindow

  • 目的

    设定AF Window

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFWindow (U32 nChannel, CusAFWin_t *data);
    
  • 描述

    AF window在AF_Init阶段设置,将CMOS sensor image切成1024*1024坐标格来设置AF window

    坐标与实际crop range换算公式:

    Image width * X /1024 = 真实X坐标

    Image_height * Y/1024 = 真实Y坐标

    Ex:

    AF window设置为 :

    Start_X = 458

    End_X = 566

    Start_Y = 418

    End_Y = 606

    则在1920x1080的CMOS sensor下设置的AF window坐标即为:

    Real_Start_X = 1920 *458/1024 = 858

    Real_End_X = 1920 *566/1024 = 1061

    Real_Start_Y = 1080 *418/1024 = 440

    Real_End_Y = 1080 *606/1024 = 639

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF Window设置
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

24.2. CusAFWin_t

  • 语法

    typedef struct AF_WINDOW_PARAM_s { MI_U32 u32StartX; /range : 0~1023/ MI_U32 u32StartY; /range : 0~1023/ MI_U32 u32EndX; /range : 0~1023/ MI_U32 u32EndY; /range : 0~1023/ } AF_WINDOW_PARAM_t;

    typedef struct { MI_U8 u8WindowIndex; AF_WINDOW_PARAM_t stParaAPI; } CusAFWin_t;

  • 参数

    参数名称 描述
    u8WindowIndex AF ROI Index (0~15), for NORMAL & MARIX mode
    stParaAPI AF ROI position
  • 描述

    在 AF ROI Mode = AF_ROI_MODE_NORMAL时,StrX, StrY, EndX, EndY就是代表该Window Index的位置

    在 AF ROI Mode = AF_ROI_MODE_MATRIX时,StrX, EndX,就是代表横轴window切割的位置,StrY, EndY就是代表纵轴切割的位置

    使用限制:

    AF ROI Mode = AF_ROI_MODE_NORMAL

    • 各自window宽高设置上,可互相重迭

    • h/v end > h/v start

    AF ROI Mode = AF_ROI_MODE_MATRIX

    • 各自window宽设置上,可互相重迭,但高不可重迭

    • h/v end > h/v start

    • win0_v_start < win0_v_end < win1_v_start < win1_v_end < win2…

    • win(0,0), win(1,0), …, win(15,0) 使用共同的h_start, h_end设定,由af0_h_start, h_end决定

    • win(0,1), win(1,1), …, win(15,1) 使用共同的h_start, h_end设定,由af1_h_start, h_end决定,其他以此推论

    • win(0,0), win(0,1), …, win(0,15) 使用共同的v_start, v_end设定,由af0_v_start, v_end决定

    • win(1,0), win(1,1), …, win(1,15) 使用共同的v_start, v_end设定,由af1_v_start, v_end决定,其他以此推论

    设定为Matrix mode时,请先将AF Window设定好,再切换到Matrix mode。

  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)


25. MI_ISP 设置AF YPARAM

25.1. MI_ISP_CUS3A_SetAFYParam

  • 目的

    设定AF Y Param

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFYParam (U32 nChannel, CusAFYParam_t *data);
    
  • 描述

    AF计算统计值时,会将Bayer data转为Y data,这边提供Bayer转Y时,R/G/B的各自比例的控制。

    预设BayerRGB转成Y时,各自比例为 (76, 75, 29),128为1x。当场景为逆光,或较暗时,因为亮度讯号较小,导致AF统计值偏小,反应不出峰值。这时,可将RGB比例提高,相对Y的讯号就变大,使峰值明显一些,例如比例改为 (255, 252, 97),可设定的最大值为255。

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF Window设置
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

25.2. CusAFYParam_t

  • 语法

    typedef struct { MI_U8 r; //0~255 MI_U8 g; //0~255 MI_U8 b; //0~255 } CusAFYParam_t;

  • 参数

    参数名称 描述
    r Bayer to Y的r channel比例 (0~255)
    g Bayer to Y的g channel比例(0~255)
    b Bayer to Y的b channel比例(0~255)
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Macaron, Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Macaron, Pudding)


26. MI_ISP 设置AF SOURCE

26.1. MI_ISP_CUS3A_SetAFSource

  • 目的

    选择AF统计值的来源

  • 语法

    MI_RET MI_ISP_CUS3A_SetAFSource (U32 nChannel, CusAFSource_e *data);
    
  • 描述

    选择AF统计值的来源。

  • 参数

    参数名称 描述
    nChannel 视讯输入信道号码(一般为0)
    data AF Window设置
  • 返回值

    返回值 描述
    MI_RET_SUCCESS 成功
    MI_RET_FAIL 失败

26.2. CusAFSource_e

  • 语法

    typedef enum { AF_SOURCE_FROM_SE_OBC_BF_HDR = 2, AF_SOURCE_FROM_SE_WBG_BF_HDR = 3, AF_SOURCE_FROM_ALSC_AF_HDR = 4, AF_SOURCE_FROM_WBG_AF_HDR = 5, AF_SOURCE_FROM_LE_OBC_BF_HDR = 6, AF_SOURCE_FROM_LE_WBG_BF_HDR = 7, } CusAFSource_e;

  • 参数

    HDR模式

    参数名称 描述
    AF_SOURCE_FROM_SE_OBC_BF_HDR 选择HDR前的短曝结果 (OB后)
    AF_SOURCE_FROM_SE_WBG_BF_HDR 选择HDR前的短曝结果 (WBGain后)
    AF_SOURCE_FROM_ALSC_AF_HDR 选择HDR后的结果 (Shading后)
    AF_SOURCE_FROM_WBG_AF_HDR 选择HDR后的结果 (WBGain后)
    AF_SOURCE_FROM_LE_OBC_BF_HDR 选择HDR前的长曝结果 (OB后)
    AF_SOURCE_FROM_LE_WBG_BF_HDR 选择HDR前的长曝结果 (WBGain后)

    线性模式

    参数名称 描述
    AF_SOURCE_FROM_SE_OBC_BF_HDR 选择OB后的结果
    AF_SOURCE_FROM_SE_WBG_BF_HDR 选择WBGain后的结果
    AF_SOURCE_FROM_ALSC_AF_HDR 选择CI前的结果 (Shading后)
    AF_SOURCE_FROM_WBG_AF_HDR 选择CI前的结果 (WBGain后)
    AF_SOURCE_FROM_LE_OBC_BF_HDR 不支持
    AF_SOURCE_FROM_LE_WBG_BF_HDR 不支持
  • 需求

    header file:mi_isp_twinkie.h / mi_isp_pretzel.h / mi_isp.h (for Pudding)

    .so:libmi_isp_twinkie.so / libmi_isp_pretzel.so / libmi_isp.so (for Pudding)

    Macaron不支持


27. GET CUST3A VERSION

参考isp_cus3a_if.h,版号定义如下

#define CUS3A_VER_STR "CUS3A_V1.1"
#define CUS3A_VER_MAJOR 1
#define CUS3A_VER_MINOR 1

unsigned int CUS3A_GetVersion(char* pVerStr);
  1. 可由查看header file获得版号

  2. 可由CUS3A_GetVersion获得版号


28. TWINKIE/PRETZEL/MACARON/PUDDING支持差异列表

此章节描述Twinkie、Pretzel、Macaron与Pudding所支持的功能列表

参数名称 Pudding Twinkie Pretzel Macaron
AE统计值 32*32 128*90 128*90 32*32
AE hist2 不支持 支持 支持 不支持
AF统计值 IIR(35), FIR(35), Luma(32), YSat(22) IIR(34), FIR(34), Luma(34), YSat(24) IIR(35), FIR(35), Luma(32), YSat(22) IIR(35), FIR(35), Luma(32), YSat(22)
MI_ISP_CUS3A_SetAEWindowBlockNumber 不支持 支持 支持 不支持
MI_ISP_CUS3A_SetAEHistogramWindow 偏移+大小限制: 最大32*32 偏移+大小限制: 最大128*90 偏移+大小限制: 最大128*90 偏移+大小限制: 最大32*32
MI_ISP_CUS3A_SetAFFilter 支持,新增Extra参数 支持 支持 支持
MI_ISP_CUS3A_SetAFFilterSq 支持 不支持 支持 支持
MI_ISP_CUS3A_SetAFRoiMode 支持 不支持 支持 支持
MI_ISP_CUS3A_SetAFSource 支持 支持 支持 不支持