本申请涉及但不限于计算机技术,尤指一种对象提取方法及装置。
背景技术:
特征提取(fe,featureextraction)是指使用计算机提取图像中属于特征性的信息的方法及过程。
全局特征(globalfeature)是指图像的整体属性,是像素级的低层可视特征,常见的全局特征包括颜色特征、纹理特征和形状特征。全局特征具有良好的不变性、计算简单、表示直观等特点,但是全局特征描述不适用于图像混叠和有遮挡的情况。局部特征(localfeature)是从图像局部区域中抽取的特征,包括边缘、角点、线、曲线和特别属性的区域等。
如何更好地得到局部特征,以便于保障后续应用是业界亟待解决的问题。
技术实现要素:
本申请提供一种对象提取方法及装置,能够获取更好的局部特征,从而更好地保障对对象的识别。
本发明实施例提供了一种对象提取方法,包括:
根据对象的高层特征信息和先验知识,定位对象的局部特征区域;
对定位出的局部特征区域分别进行采样以获取采样信息;
对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。
在一种示例性实例中,还包括:
利用神经网络模型对所述对象进行特征提后得到所述高层特征信息。
在一种示例性实例中,所述先验知识用于表征所述对象的不同部位,包括一种或一种以上预先得到的对所述对象进行区域划分的子块信息。
在一种示例性实例中,所述定位对象的局部特征区域,包括:
根据所述先验知识表征的所述对象的不同部位,从所述对象的高层特征信息中定位出一种或一种以上所述局部特征区域。
在一种示例性实例中,所述采样包括上采样或下采样。
在一种示例性实例中,所述采样信息对应的采样信息图的尺寸小于或等于所述高层特征信息对应的高层特征图的尺寸。
在一种示例性实例中,所述获取局部特征区域的局部特征信息,包括:
利用神经网络模型对所述采样信息对应的采样信息图进行特征提取,获取所述局部特征区域的局部特征信息。
本申请还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述任一项所述的对象提取方法。
本申请又提供了一种用于实现对象提取的装置,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行上述任一项所述的对象提取方法的步骤。
本申请还提供了一种对象识别方法,包括:
获取对象的局部特征信息,包括:根据对象的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息;
合并获取的局部特征信息和高层特征信息作为对象识别结果。
在一种示例性实例中,所述定位对象的局部特征区域,包括:
根据所述先验知识表征的所述对象的不同部位,从所述对象的高层特征信息中定位出一种或一种以上所述局部特征区域。
在一种示例性实例中,所述采样包括上采样或下采样。
在一种示例性实例中,所述采样信息对应的采样信息图的尺寸小于或等于所述高层特征信息对应的高层特征图的尺寸。
在一种示例性实例中,所述获取局部特征区域的局部特征信息,包括:
利用神经网络模型对所述采样信息对应的采样信息图进行特征提取,获取所述局部特征区域的局部特征信息。
本申请再提供了一种行人识别方法,包括:
获取行人图像的局部特征信息,包括:根据行人图像的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息;
合并获取的局部特征信息和高层特征信息作为行人识别结果。
本申请还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述任一项所述的对象识别方法。
本申请又提供了一种用于实现对象识别的装置,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行上述任一项所述的对象识别方法的步骤。
本申请对象提取方法包括:根据对象的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。本申请简单、有效地获取了更好的局部特征,从而更好地保障了后续对对象的识别。
本申请对象识别方法包括:获取对象的局部特征信息,包括:根据对象的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息;合并获取的局部特征信息和高层特征信息作为对象识别结果。本申请为对象的识别准备了更丰富的特征信息,进而更好地保障了后续对对象的识别。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1为本申请对象提取方法的流程图;
图2为本申请对象提取装置的组成结构示意图;
图3为本申请对象识别方法的流程图;
图4为本申请对象识别装置的组成结构示意图;
图5为本申请对象识别过程中局部特征提取及融合过程的实施例的处理示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下文中将结合附图对本申请的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在本申请一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本申请对象提取方法的流程图,如图1所示,包括:
步骤100:根据对象的高层特征信息和先验知识,定位对象的局部特征区域。
在一种示例性实例中,高层特征信息为:利用神经网络模型对对象进行特征提取后得到的特征信息。高层特征信息描述的是对象的全局特征。高层特征信息拥有比低层特征信息和中层特征信息更强大的区别能力。
高层属性特征含有更加丰富的语义信息,而且对于光照和视角变化具有更强的鲁棒性。
因此,本申请利用高层属性特征指导低层特征实现局部特征区域的定位,保证了定位出合理的局部特征区域,从而为有效地提高识别性能提供了保障。
以行人重识别场景为例,采用的特征信息可分包括:低层视觉特征、中层滤波器特征和高层属性特征三类。其中,低层视觉特征及其组合是行人重识别中常用的特征信息。多个低层视觉特征组合起来比单个特征含有更加丰富的信息,具有更好的区分能力,因此,常将低层视觉特征组合起来用于行人重识别。中层滤波器特征是指从行人图像中具有较强区分能力的图像块组合中提取出的特征信息。滤波器是对行人特殊视觉模式的反映,这些视觉模式对应不同的身体部位,可以有效表达行人特有的身体结构信息。高层属性特征是指服装样式、性别、发型、随身物品等人类属性,属于软生物特征,拥有比低层视觉特征和中层滤波器特征更强大的区分能力。
在一种示例性实例中,先验知识用于表征对象的不同部位,包括一种或一种以上预先得到的对对象进行区域划分的子块信息。比如:以对象为人的图像为例,先验知识可以包括:头部位置信息、上身位置信息、下身位置信息等等。再如:以对象为鸟的图像为例,先验知识可以包括:鸟嘴、鸟头、鸟的翅膀、鸟尾、鸟爪等等。
在一种示例性实例中,本步骤中的定位对象的局部特征区域可以包括:根据先验知识表征的对象的不同部位,从对象的高层特征信息中定位出一种或一种以上局部特征区域。以行人重识别场景为例,假设先验知识包括头部、上身、下身三部分区域的信息,那么,经过本步骤处理后,会定位出的对象的头部特征区域、上身特征区域和下身特征区域,将这三个区域裁剪出后得到三个局部区域特征图即头部区域特征图、上身区域特征图和下身区域特征图。
在一种示例性实例中,也可以采用如利用人为信息直接划定局部特征区域等。
本申请中,不需要额外的训练数据集进行辅助训练,不用训练额外的模型帮助学习或定位,而只需要利用简单的与任务相关的先验知识即可定位出能够表现对象特征的局部特征区域。
步骤101:对定位出的局部特征区域分别进行采样以获取采样信息。
在一种示例性实例中,对定位出的各个局部特征区域分别进行上采样,达到将局部区域特征图放大的效果。通过本步骤的处理,为后续获得更细致的局部特征信息提供了有理的保障。
需要说明的是,按照实际需求,本步骤中的采样也可以是下采样,具体采用什么采样方式可以根据实际情况确定,并不用于限定本申请的保护范围。
在一种示例性实例中,采样信息对应的采样信息图的尺寸小于或等于高层特征信息对应的高层特征图的尺寸。
在一种示例性实例中,也可以利用传统插值方式对定位出的局部特征区域进行采样以达到图像方法。
本申请中,通过采样对定位出的局部特征区域进行放大或缩小处理,更灵活地得到了期望中的局部特征信息。
步骤102:对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。
在一种示例性实例中,本步骤可以包括:利用神经网络模型对采样信息对应的采样信息图进行特征提取,获取局部特征区域的局部特征信息。
本申请对象提取方法可以插入任意神经网络模型中的任意子层,如卷积层,反卷积层。
从本申请对象提取方法可见,本申请简单、有效地获取了更好的局部特征,从而更好地保障了后续对对象的识别。
本申请还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上任一项的对象提取方法。
本申请再提供一种计算机装置,包括存储器和处理器,其中,存储器中存储有上述任一项的对象提取方法的步骤。
图2为本申请对象提取装置的组成结构示意图,如图2所示,至少包括:定位模块、采样模块、提取模块;其中,
定位模块,用于根据对象的高层特征信息和先验知识,定位对象的局部特征区域;
采样模块,用于对定位出的局部特征区域分别进行采样以获取采样信息;
提取模块,用于对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。
在一种示例性实例中,采样模块具体用于:对所述定位出的各个局部特征区域分别进行上采样,以放大局部区域特征图。
在一种示例性实例中,提取模块具体用于:利用神经网络模型对对采样信息对应的采样信息图进行特征提取,获取局部特征区域的局部特征信息。
图3为本申请对象识别方法的流程图,如图3所示,包括:
步骤300:获取对象的局部特征信息,包括:根据对象的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。
本步骤的实现可参见图1所示的对象提取方法,这里不再赘述。
步骤301:合并获取的局部特征信息和高层特征信息作为对象识别结果。
在一种示例性实例中,可以采取1*1卷积神经网络模型合并获取的局部特征信息和高层特征信息。具体实现在本申请提供的局部特征提取方法和对象识别方法的基础上,对于本领域技术人员来讲是容易实现的,并不用于限定本申请的保护范围。
高层特征信息描述的是对象的全局特征,通过本步骤实现了提取出的局部特征与全局特征的融合,而不是局部特征和全局特征分别独立后续操作处理,为对象的识别准备了更丰富的特征信息,进而更好地保障了后续对对象的识别。同时,对象识别中的局部特征的提取,一方面,不需要额外的训练数据集进行辅助训练,不用训练额外的模型帮助学习或定位,而只需要利用简单的与任务相关的先验知识即可定位出能够表现对象特征的局部特征区域;另一方面,通过采样对定位出的局部特征区域进行放大或缩小处理,更灵活地得到了期望中的局部特征信息;这样,简单、有效地获取了更好的局部特征。
本申请对象识别方法可以插入任意神经网络模型中的任意子层,如卷积层,反卷积层,全连接层,池化层,非线性激活层。
本申请对象识别方法可以应用但不限于如:城市交通中的行人识别场景、无人驾驶场景下的行人识别等。
图4为本申请对象识别装置的组合结构示意图,如图4所示,包括:局部特征提取单元、融合单元;其中,
局部特征提取单元,用于获取对象的局部特征信息,包括:用于根据对象的高层特征信息和先验知识定位对象的局部特征区域的定位模块;用于对定位出的局部特征区域分别进行采样以获取采样信息的采样模块;用于对采样信息分别进行特征提取以获取局部特征区域的局部特征信息的提取模块;
融合单元,用于合并获取的局部特征信息和高层特征信息作为对象识别结果。
在一种示例性实例中,采样模块具体用于:对所述定位出的各个局部特征区域分别进行上采样,以放大局部区域特征图。
在一种示例性实例中,提取模块具体用于:利用神经网络模型对对采样信息对应的采样信息图进行特征提取,获取局部特征区域的局部特征信息。
在一种示例性实例中,融合单元具体用于:采取1*1卷积神经网络模型合并获取的局部特征信息和高层特征信息。
图5为本申请对象识别过程中局部特征提取及融合过程的实施例的处理示意图,本实施例以行人重识别场景为例,如图5所示,包括:
首先,根据利用神经网络模型对对象即图像或视频进行特征提取后得到的高层特征信息,以及预先得到的表征对象的不同部位的先验知识,按照先验知识的区域对高层特征图进行区域的划分,定位出:头部特征区域、上身特征区域和下身特征区域;本实施例中,假设先验知识头部、上身和下身三个区域;
然后,对定位出的三个局部特征区域分别进行上采样,得到与高层特征图尺度相同的头部特征图、上身特征图和下身特征图;
之后,对头部特征图、上身特征图和下身特征图分别进行特征提取,获取头部特征信息、上身特征信息和下身特征信息;
最后,利用如采取1*1卷积神经网络模型,将获得的各局部特征信息与高层特征信息进行合并,得到对象识别结果。
本申请行人重识别实施例中,通过对局部特征信息的采样放大处理,很好地避免了相关技术中当局部特征信息在图像中尺寸较小时,利用掩膜技术不能更好地提取出更加有用的局部特征信息的问题;而且,本申请更灵活地得到了期望中的局部特征信息。本申请行人重识别实施例相对于相关技术中借助人体结构信息如关节点进行行人识别的方案,由于不需要额外的训练数据集进行辅助训练,不用训练额外的模型帮助学习或定位,而只需要利用简单的与任务相关的先验知识即可定位出能够表现对象特征的局部特征区域,因此简单、有效地获取了更好的局部特征。
虽然本申请所揭露的实施方式如上,但所述的内容仅为便于理解本申请而采用的实施方式,并非用以限定本申请。任何本申请所属领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本申请的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
1.一种对象提取方法,包括:
根据对象的高层特征信息和先验知识,定位对象的局部特征区域;
对定位出的局部特征区域分别进行采样以获取采样信息;
对采样信息分别进行特征提取,获取局部特征区域的局部特征信息。
2.根据权利要求1所述的对象提取方法,还包括:
利用神经网络模型对所述对象进行特征提后得到所述高层特征信息。
3.根据权利要求1所述的对象提取方法,其中,所述先验知识用于表征所述对象的不同部位,包括一种或一种以上预先得到的对所述对象进行区域划分的子块信息。
4.根据权利要求3所述的对象提取方法,其中,所述定位对象的局部特征区域,包括:
根据所述先验知识表征的所述对象的不同部位,从所述对象的高层特征信息中定位出一种或一种以上所述局部特征区域。
5.根据权利要求1所述的对象提取方法,其中,所述采样包括上采样或下采样。
6.根据权利要求1所述的对象提取方法,其中,所述采样信息对应的采样信息图的尺寸小于或等于所述高层特征信息对应的高层特征图的尺寸。
7.根据权利要求1所述的对象提取方法,其中,所述获取局部特征区域的局部特征信息,包括:
利用神经网络模型对所述采样信息对应的采样信息图进行特征提取,获取所述局部特征区域的局部特征信息。
8.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1~权利要求7任一项所述的对象提取方法。
9.一种用于实现对象提取的装置,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行权利要求1~权利要求7任一项所述的对象提取方法的步骤。
10.一种对象识别方法,包括:
获取对象的局部特征信息,包括:根据对象的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息;
合并获取的局部特征信息和高层特征信息作为对象识别结果。
11.根据权利要求10所述的对象识别方法,其中,所述定位对象的局部特征区域,包括:
根据所述先验知识表征的所述对象的不同部位,从所述对象的高层特征信息中定位出一种或一种以上所述局部特征区域。
12.根据权利要求10所述的对象识别方法,其中,所述采样包括上采样或下采样。
13.根据权利要求10所述的对象识别方法,其中,所述采样信息对应的采样信息图的尺寸小于或等于所述高层特征信息对应的高层特征图的尺寸。
14.根据权利要求10所述的对象识别方法,其中,所述获取局部特征区域的局部特征信息,包括:
利用神经网络模型对所述采样信息对应的采样信息图进行特征提取,获取所述局部特征区域的局部特征信息。
15.一种行人识别方法,包括:
获取行人图像的局部特征信息,包括:根据行人图像的高层特征信息和先验知识,定位对象的局部特征区域;对定位出的局部特征区域分别进行采样以获取采样信息;对采样信息分别进行特征提取,获取局部特征区域的局部特征信息;
合并获取的局部特征信息和高层特征信息作为行人识别结果。
16.一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求10~权利要求14任一项所述的对象识别方法。
17.一种用于实现对象识别的装置,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行权利要求10~权利要求14任一项所述的对象识别方法的步骤。
技术总结