关于图像检索的相关汇报

一、图像相似度计算

基于内容的图像检索技术是根据内容见的相似度进行检索，也就是采用相似度匹配，实质是计算对应特征之间的相似程度。通常图像特征用矢量表示，可看作是多维空间中的点，很自然地，就可以用特征空间中点与点之间的距离度量其相似程度。距离值越小，图像越相似。如果用相关计算计算特征矢量之间的相关度，通过相关值的大小可说明图像的相似度，这主要用于颜色特征的相似性度量；由于图像中有些特征是二值型的，如状态型特征，对此应采用关联系数的方法，常用Gower关联系数法；实际上，图像特征是多维复杂体，多特征图像的相似度可用单特征相似度的线性加权和表示。当图像同时具有二值型特征时，还要用关联系数法（设有

二、对图像内容基于语义特征的研究

上面所述的是对图像低层视觉特征的研究。对图像内容基于其语义特征的研究需要人机交互和相关反馈。相关反馈是从用户处进一步挖掘检索需求信息，通过多次信息回馈，来获取用户的确切需求。最近的研究将其称为密度估计、学习或分类问题。与相关反馈有关的短期和长期学习方法，分类模型通过建立低层视觉特征和图像类别语义的映射，对克服语义鸿沟有一定作用。

三、基于视觉注意模型的感兴趣区检测

基于视觉注意模型的感兴趣区检测，根据感兴趣区域提取方法的不同可分为4类：1，基于人机交互的感兴趣区检测是通过人机交互方式由用户选择图像中的若干区域作为感兴趣区，对于医学图像等比较单一的应用有较好的检索效果；2，基于低层视觉特征的感兴趣区检测过于客观，与人们的主观评价具有一定差距；3，基于注意力的感兴趣区检测可以使用视觉注意模型得到图像中显著度较高的区域作为检测结果，但没有考虑到图像对象的信息；4，基于对象的感兴趣区检测算法，检测效果较好。

感兴趣区检测的本质是图像区域分割问题，考虑将上面的3和4结合，提出自动提取图像感兴趣区的检测方法。为此，实际应用中以Itti模型为基础，对其改进后可实现。基于改进Itti模型与进化规划的感兴趣区检测方法包括视觉显著度量、注意焦点的选择和转移以及感兴趣区生成三部分，属于自底向上（Bottom-Up）的视觉注意模型，具体不再介绍。与此相反，Top-Down模型是针对观察任务建立一个对象模型，找到与对象模型匹配的期望对象，再进一步处理期望对象。基于相似距离的Top-Down模型包括给定观察任务、相似区域的判断和视觉期望3个部分，具体也不再介绍。以上所介绍的都是无需用户参与的非监督检测方法。

四、视点跟踪技术

视点跟踪技术是利用视点跟踪设备，对人眼进行检测和定位，实时跟踪视线运动，并得到注视点空间位置的信息。现有的视点跟踪技术主要分为两类，分别以硬件和软件为基础。光电传感技术逐渐发展为以硬件为基础的视点跟踪技术的主流技术。基于软件的视点跟踪大多使用神经网络的方法。基于Gabor变换的人眼定位方法是在对图像进行归一化处理以减少光照影响的基础上，利用Gabor变换后的图像在人眼处幅值较大的特点，通过投影得到人眼的坐标，这种方法对一定的表情、姿态、关照变化有较好的鲁捧性，但不能很好处理光照变化和戴眼镜的情况。基于双阈值的低复杂度视点跟踪方法在高分辨率的人眼图像下，不需要经过人脸检测，用双阈值处理直接定位人眼，提高了视点跟踪的速度，但在训练与运行期间，当用户头部位置相差较大时，误差将明显增大，精度下降。基于Web Camera的自适应模板视点跟踪方法采用快速的类Haar特征人脸检测和自适应人眼模板来提取人眼特征，然后围绕瞳孔或人眼中心全搜索定位反射点，最后用两眼位置、瞳孔中心和反射点矢量作为神经网络输入参数，预测视点位置，准确度介于传统模板和双阈值法之间。视点跟踪技术为相关反馈提供了新的交互途径，也就是在获取人眼运动数据的基础上进行相关反馈。

五、感兴趣区检测

在图像检索的实际应用中，感兴趣区检测主要有两种情况：用户未携带观察任务、用户携带或产生了观察任务。基于此，提出的基于视觉感知的感兴趣区检测主要由视觉注意模型和视点跟踪系统等组成。视觉注意模型对输入图像进行非均匀采样，提取图像的显著特征，构成特征关注图，经合并的显著区作为候选感兴趣区。视点跟踪系统首先通过视点跟踪设备捕获人脸图像，然后计算人眼特征参数，再经神经网络训练预测视点，构成注视点分布，最后将aROI和注视点分布图融合，得到客观化的感兴趣区ROI。基于视觉感知的图像检索是一个较新的研究方向，具有重要的研究意义和实用价值。

六、个性化图像检索

“个性化图像检索”是图像检索的发展趋势，考虑了用户的不同，根据用户兴趣定制个性化检索结果，以提高检索结果的准确度，实现个性化图像检索的关键是获取用户兴趣，有效表示用户兴趣，并能根据用户兴趣反馈个性化的检索结果。个性化图像检索由人机交互、用户兴趣模型及个性化推荐3部分组成。人机交互是通过系统和用户的交互来获取用户兴趣，利用相关反馈技术逐步求精，优化检索结果。用户兴趣模型的作用是进行用户个性化分析以产生个性化文件（Agent推理机通过学习用户日志信息，自定义感兴趣信息以及反馈信息，推理出用户兴趣，从而构建用户兴趣模型，产生个性化文件）。个性化推荐是一种个性化过滤机制，将信息空间与个性化文件进行匹配，实现个性化信息过滤，向用户推荐个性化检索结果，其技术主要分为基于规则的系统和信息过滤系统两种。信息过滤系统又可分为基于内容的过滤和协作过滤，若将基于内容的过滤系统和协作过滤系统融合，将能克服两者的缺陷。个性化图像检索的发展趋势是考虑如何构建反映用户高层语义的用户兴趣模型，提供更加友好的相关户型去的反馈模式以进一步克服语义鸿沟。

七、用户兴趣的获取

在图像检索中引入用户兴趣模型，有利于实现自适应的检索。用户兴趣模型通过记录和学习用户的检索行为，获取检索结果与用户需求之间的相关性，以提高用户的满意度。用户兴趣模型的构建是一个机器学习的过程，包括收集兴趣和反馈兴趣两部分。检索系统用相关反馈算法根据用户在当前反馈中给出的相关评价信息调整相似性度量，得到短期兴趣中的视觉特征，并在每次相关反馈的过程中进行更新（短期兴趣中的语义特征表示为

个性化图像检索应以数据挖掘与知识发现为主要手段，加上图像理解和自然语言理解技术，对检索结果进行进一步分析，滤掉与用户需求不相关或弱相关的信息，从而提高系统性能和检索的精度与效果。