本发明涉及医学图像处理技术领域,尤其涉及一种基于人工智能的图像搜索方法、装置、设备及介质。
背景技术:
肿瘤放射放疗(简称放疗)是利用放射线如放射性同位素产生的α、β、γ射线和各类x射线放疗机或加速器产生的x射线、电子线、质子束及其它粒子束等放疗恶性肿瘤的一种局部放疗方法。在放疗过程中,需基于剂量分布图设计放疗计划,以便基于该放疗计划进行放疗。在放疗计划设计中,剂量分布图通常由医师和物理师手工操作,由于目标器官与周围组织的相似性高,处方剂量水平多样化,并且目标器官附近有许多敏感的关键结构,往往需要很长的时间来确定,放疗计划的好坏依赖于医师和物理师的临床经验和医学知识,制作过程工作量大,效率低下,主观性较强,差异性较大。
随着计算机技术的发展,已有学者们提出了利用深度学习训练的模型自动生成可应用于患者进行放疗的剂量分布图,但此时生成的剂量分布图往往忽略器官间空间位置关系,精确度不高,使得其在临床应用的参考价值不高。
技术实现要素:
本发明实施例提供一种基于人工智能的图像搜索方法、装置、设备及介质,以解决当前放疗剂量分布图获取效率较低或者精确度不高的问题。
一种基于人工智能的图像搜索方法,包括:
获取图像搜索请求,所述图像搜索请求包括目标用户标识、与所述目标用户标识相对应的原始ct图和原始危及器官勾画图;
将所述原始ct图和所述原始危及器官勾画图输入剂量分析模型,生成与所述目标用户标识对应的原始剂量分布图;
对所述原始剂量分布图进行配准处理,获取标准剂量分布图;
将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量;
基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图。
一种基于人工智能的图像搜索装置,包括:
图像搜索请求获取模块,用于获取图像搜索请求,所述图像搜索请求包括目标用户标识、与所述目标用户标识相对应的原始ct图和原始危及器官勾画图;
原始剂量分布图获取模块,用于将所述原始ct图和所述原始危及器官勾画图输入剂量分析模型,生成与所述目标用户标识对应的原始剂量分布图;
标准剂量分布图获取模块,用于对所述原始剂量分布图进行配准处理,获取标准剂量分布图;
目标特征向量获取模块,用于将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量;
目标剂量分布图获取模块,用于基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于人工智能的图像搜索方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于人工智能的图像搜索方法的步骤。
上述基于人工智能的图像搜索方法、装置、设备及介质,获取图像搜索请求中的原始ct图和原始危及器官勾画图,将所述原始ct图和所述原始危及器官勾画图输入剂量分析模型,生成原始剂量分布图,为图像搜索提供技术支持。对所述原始剂量分布图进行配准处理,获取标准剂量分布图,以消除不同个体间的差异,从而达到信息融合的目的,将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量,基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图,以便服务器根据目标剂量分布图在目标放疗计划数据库中查找关联存储的历史放疗计划,并发送给客户端,以便临床医生根据历史放疗计划制定目标放疗计划,提高目标放疗计划的制定效率和精确度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于人工智能的图像搜索方法的一应用环境示意图;
图2是本发明一实施例中基于人工智能的图像搜索方法的一流程图;
图3是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图4是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图5是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图6是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图7是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图8是本发明一实施例中基于人工智能的图像搜索方法的另一流程图;
图9是本发明一实施例中基于人工智能的图像搜索装置的一示意图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于人工智能的图像搜索方法,该基于人工智能的图像搜索方法可应用如图1所示的应用环境中。具体地,该基于人工智能的图像搜索方法应用在图像搜索系统中,该图像搜索系统包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于实现对目标用户标识对应的原始原始ct图和原始危及器官勾画图生成进行处理,生成标准剂量分布图,通过图像搜索模型快速搜索到与标准剂量分布图相似的历史配准分布图作为目标剂量分布图,以提高目标剂量分布图的获取效率和准确度,从而为临床医生制定目标放疗计划做参考。该目标放疗计划是用于针对目标用户制定的放疗计划。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种基于人工智能的图像搜索方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
s201:获取图像搜索请求,图像搜索请求包括目标用户标识、与目标用户标识相对应的原始ct图和原始危及器官勾画图。
其中,目标用户是指进行检测确定肿瘤分布情况,以便临床医生制定目标放疗计划的用户。目标放疗计划是针对目标用户制定的放疗计划,一个用户对应一个放疗计划。目标用户标识是用于唯一识别目标用户的标识,例如,目标用户标识可以是目标用户的姓名和目标用户的身份证号等。
原始ct图是目标用户通过ct扫描获得的图像。ct(computedtomography,即电子计算机断层扫描),是用x射线束对人体被检查部位所在的层面进行扫描,由探测器接收透过该层面的x射线,转变为可见光后,由光电转换变为电信号,再经模拟/数字转换器(analog/digitalconverter)转为数字信号,计算机对这些数字信号进行处理后,得到的人体被检查部位的断面或立体的图像即为原始ct图,以便利用该原始ct图发现被检查部位的细小病变。可以理解地,被检查部位包括患病部位和非患病部位,例如,被检查部位是肺部,患病部位是右肺,非患病部位是左肺和左肺周围的器官等。
危及器官是指在放疗射线的放射范围内的非患病的重要组织或器官。原始危及器官勾画图是指在原始ct图中对在放疗射线的放射范围内的非患病的重要组织或器官进行勾画获得的图,原始危及器官勾画图与目标用户对应。
具体地,目标用户到医院进行ct扫描,以获得该目标用户的原始ct图,并根据原始ct图勾勒出危及器官,以获得原始危及器官勾画图,将目标用户的原始ct图和原始危及器官勾画图等图像数据与目标用户标识进行关联存储在图像数据库中。可以理解地,每一用户的图像数据与用户标识一一对应,以便管理,其中,图像数据包括但不限于ct图和危及器官勾画图。图像数据库是用于存储所有用户的图像数据的库。
作为一示例,临床医生通过点击客户端上的图像搜索按钮,生成带有目标用户标识、目标用户标识相对应的原始ct图和原始危及勾画图的图像搜索请求,并将该图像搜索请求发送给服务器,以使服务器获取到图像搜索请求。
s202:将原始ct图和原始危及器官勾画图输入剂量分析模型,生成与目标用户标识对应的原始剂量分布图。
其中,剂量分析模型是用于生成预测的剂量分布图的模型。该剂量分析模型是基于深度神经网络训练生成的模型,该剂量分析模型是采用深度神经网络对训练样本进行训练所形成的模型,该训练样本包括同一用户标识对应的训练ct图、训练危及器官勾画图和对应的训练剂量分布图。
原始剂量分布图是剂量分析模型预测的射线剂量,即对目标用户进行放疗时,预测目标用户患病部位所需的射线剂量。由于原始剂量分布图是通过剂量分析模型生成的,原始剂量分布图中可能忽略不同器官之间存在的空间位置,精确度不高,无法满足临床标准,因此临床医生无法直接由原始剂量分布图生成目标放疗计划。
具体地,将原始ct图和原始危及器官勾画图输入剂量分析模型,从而快速生成与目标用户标识对应的原始剂量分布图,为图像搜索提供技术支持。
s203:对原始剂量分布图进行配准处理,获取标准剂量分布图。
其中,配准处理是用于比较或融合不同用户在不同条件下获取的图像,以便后续可精准搜索图像。可以理解地,由于不同用户体型存在差异导致不同用户的器官大小或者空间位置情况不同,通过寻找一种空间变换把不同用户的剂量分布图或者ct图等映射到另一幅图像,将不同用户的相同图像对应于空间同一位置的点一一对应起来,以消除不同个体间的差异。
具体地,采用图像配准算法对原始ct图与标准ct图进行配准,获得标准配准参数,基于标准配准参数对原始剂量分布图进行转换,获取标准剂量分布图,确保目标用户标识对应的原始ct图的器官与标准ct图的器官处于相对应的位置,可以排除因为不同个体的器官的大小、空间位置等因素对图像搜索的影响,确保后续可搜索到相似的图像,提高图像搜索的准确度。标准ct图是指通用的ct图模板。
s204:将标准剂量分布图输入图像搜索模型,获取目标用户标识对应的目标特征向量。
其中,图像搜索模型是指预先训练好的用于识别剂量分布图,以输出特征向量的模型。该图像搜索模型具体是应用基于三元损失函数的卷积神经网络训练生成的模型,可确保相似的图像像通过图像搜索模型生成的特征向量的距离小,具体是使相似的配准分布图通过图像搜索模型生成对应的特征向量距离小,不相似的图像像通过图像搜索模型生成的特征向量的距离大,具体是使不相似的配准分布图通过图像搜索模型生成对应的特征向量距离大,即该图像搜索模型确保相似的图像像通过图像搜索模型生成的特征向量的距离小于不相似的图像像通过图像搜索模型生成的特征向量的距离,以便后续可准确获取与标准剂量分布图相似的历史配准分布图,从而确定目标剂量分布图。具体地,将标准剂量分布图输入图像搜索模型,从而获取目标用户标识对应的目标特征向量,为后续寻找与标准剂量分布图提供基础。
s205:基于目标特征向量查询放疗计划数据库,获取与目标特征向量相匹配的目标剂量分布图。
其中,放疗计划数据库是指用于存储经过放疗后的历史用户对应的用户数据的数据库,该用户数据包括关联存储的历史用户标识、历史ct图、历史剂量分布图、历史放疗计划和历史剂量分布图对应的历史特征向量。
其中,历史用户是指已经进行放疗的用户。历史用户标识是用于唯一识别历史用户的标识。历史ct图是历史用户通过ct扫描获取的图像。历史剂量分布图是历史用户在放疗过程中形成的剂量分布图。历史放疗计划是历史用户在放疗过程中采集的放疗计划。历史特征向量是将历史剂量分布图输入图像搜索模型获得的特征向量。目标剂量分布图是与标准剂量分布图相似的历史配准分布图。
历史特征向量通过图像搜索模型获得的,可以确保相似的历史剂量分布图的特征向量的距离小,不相似的历史剂量分布图的特征向量的距离大,以便后续可准确获取与标准剂量分布图相似的历史配准分布图,从而基于相似的历史剂量分布图确定目标剂量分布图。
具体地,采用相似度计算公式计算目标特征向量和放疗计划数据库中的任一历史用户标识对应的历史特征向量的相似度,并获取相似度最大的前m(m为正整数)个的历史特征向量,将这些历史特征向量对应的历史剂量分布图作为目标剂量分布图,以便服务器根据目标剂量分布图在目标放疗计划数据库中查找关联存储的历史放疗计划,并发送给客户端,以便临床医生根据历史放疗计划制定目标放疗计划,提高目标放疗计划的制定效率和精确度。可以理解地,由于历史放疗计划是历史用户已经进行放疗的计划,则历史放疗计划具有较强的参考价值,以缩短临床医生制定目标放疗计划所需的时间,缩短目标用户的放疗周期,为目标用户提供及时放疗。
本实施例所提供的基于人工智能的图像搜索方法,获取图像搜索请求中的原始ct图和原始危及器官勾画图,将原始ct图和原始危及器官勾画图输入剂量分析模型,生成原始剂量分布图,为图像搜索提供技术支持。对原始剂量分布图进行配准处理,获取标准剂量分布图,以消除不同个体间的差异,从而达到信息融合的目的,将标准剂量分布图输入图像搜索模型,获取目标用户标识对应的目标特征向量,基于目标特征向量查询放疗计划数据库,获取与目标特征向量相匹配的目标剂量分布图,以便服务器根据目标剂量分布图在目标放疗计划数据库中查找关联存储的历史放疗计划,并发送给客户端,以便临床医生根据历史放疗计划制定目标放疗计划,提高目标放疗计划的制定效率和精确度。
在一实施例中,如3所示,在步骤s204之前,即在将标准剂量分布图输入图像搜索模型,获取目标用户标识对应的目标特征向量之前,基于人工智能的图像搜索方法还包括:
s301:获取第一历史用户标识的历史用户图像数据,历史用户图像数据包括历史ct图、历史危及器官勾画图和历史剂量分布图。
其中,第一历史用户标识是图像数据库中的一个历史用户的标识。历史用户图像数据是与第一历史用户标识关联存储在图像数据库中的图像数据。该历史用户图像数据包括但不限于历史ct图、历史危及器官勾画图和历史剂量分布图。其中,历史危及器官勾画图是指在同一历史用户的历史ct图中对在放疗射线的放射范围内的非患病的重要组织或器官进行勾画获得的图。
s302:将第一历史用户标识对应的历史ct图和历史危及器官勾画图输入到剂量分析模型,获取第一历史用户标识对应的分析剂量分布图。
其中,分析剂量分布图是第一历史用户标识对应的历史ct图和历史危及器官勾画图通过剂量分布模型进行预测,所获得的预测的剂量分布图,以将分析剂量分布图作为用于训练图像搜索模型的训练数据。
s303:基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图。
其中,历史配准分布图是指对历史剂量分布图进行图像配准处理后获得的图。分析配准分布图是指对分析剂量分布图进行图像配准处理后获得的图像。
具体地,可以采用图像配准算法对第一历史用户标识的历史ct图与标准ct图进行配准,以获得第一历史用户标识对应的配准参数,基于该配准参数对历史剂量分布图进行图像配准处理,获取历史配准分布图,基于该配准参数对对分析剂量分布图进行图像配准处理,获取分析配准分布图。经过配准处理获得历史配准分布图和分析配准分布图,可以确保训练的模型更加精确。
s304:查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定第一历史用户标识对应的对比剂量分布图。
具体地,从图像数据库中获取除第一历史用户标识以外的其他历史用户标识对应的历史剂量分布图,对其他历史用户标识对应的历史剂量分布图进行配准处理生成对比剂量分布图,以消除不同用户的图像间差异,确保训练图像搜索模型的准确性。可以理解地,为了获取更多的训练样本,可以将除第一历史用户标识以外的多个其他历史用户标识对应的历史剂量分布图进行配准处理,获取对比剂量分布图,以获取数量充足的训练样本。
s305:将第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图作为训练样本。
具体地,将第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图作为训练样本,可以理解地,由于历史配准分布图和分析配准分布图是同一历史用户的图像数据,则相似性较高,而对比剂量分布图是对除第一历史用户标识以外的历史剂量分布图进行配准处理后获取的剂量分布图,是与第一历史用户标识对应的历史配准分布图和分析配准分布图不相似的剂量分布图,以确保生成的图像搜索模型可使不相似的图像对应的特征向量的距离大,具体是使不相似的配准分布图对应的特征向量距离大,从而可保障保后续图像搜索的准确性。
s306:将训练样本输入基于三元损失函数的卷积神经网络进行模型训练,获取图像搜索模型。
具体地,将第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图输入基于三元损失函数的权重共享的卷积神经网络进行训练,当损失为小于函数收敛值时,则表示该图像搜索模型训练完成。该函数收敛值是预先设置的用于评估损失函数是否达到收敛要求的值,可以为零。其中,三元损失函数为
本实施例所提供的基于人工智能的图像搜索方法,将第一历史用户标识对应的历史ct图和历史危及器官勾画图输入到剂量分析模型,以快速获取第一历史用户标识对应的分析剂量分布图。基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图,以消除不同用户的图像间差异对模型训练的影响。查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定第一历史用户标识对应的对比剂量分布图,将第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图作为训练样本,从而可保障保后续图像搜索的准确性。将训练样本输入基于三元损失函数的卷积神经网络进行模型训练,快速获取图像搜索模型,以确保生成的图像搜索模型可使不相似的图像对应的特征向量的距离大,具体是使不相似的配准分布图对应的特征向量距离大。
在一实施例中,如图4所示,步骤s303,即基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图,包括:
s401:采用图像配准算法将第一历史用户标识对应的历史ct图与标准ct图进行配准,获取历史配准参数。
具体地,对历史ct图进行预处理,为配准提供基础,该预处理过程包括:对历史ct图进行消除噪声处理,以消除干扰因素;当历史ct图与标准ct图的像素大小不同时,对历史ct图的尺寸进行调整,以使历史ct图与标准ct图的像素大小相匹配,以使历史ct图和标准ct图的特征对应,从而保证获取的历史配准参数的准确性。
从预处理后的历史ct图的特定位置上选取第一特征,并在标准ct图与历史ct图对应的位置选取第二特征,以获取基于同一特定位置对应的第一特征和第二特征,为了更好地确定历史ct图和标准ct图的对应关系,可以在历史ct图和标准ct图取多个对应的位置的特征;建立三维坐标系,确定历史ct图的第一特征的三维坐标和标准ct图的第二特征的三维坐标,依据两个三维坐标确定预处理后的历史ct图和标准ct图的配准函数,基于该配准函数获取历史配准参数。具体地,历史配准参数是配准函数的参数,对历史ct图重新采样验证历史配准参数准确性。
s402:基于历史配准参数对历史剂量分布图和分析剂量分布图进行图像配准,获取历史配准分布图和分析配准分布图。
具体地,根据历史配准参数对第一历史用户标识对应的历史剂量分布图和分析剂量分布图进行配准,即根据历史配准参数对第一历史用户标识对应的历史剂量分布图和分析剂量分布图进行空间变换。其中,空间变换可以是旋转、缩小和放大等转换,以获取历史配准分布图和分析配准分布图,由于训练样本均进行配准处理,可以消除不同用户的图像间的差异,确保生成图像搜索模型的准确性。
本实施例所提供的基于人工智能的图像搜索方法,采用图像配准算法将第一历史用户标识对应的历史ct图与标准ct图进行配准,获取历史配准参数。基于历史配准参数对历史剂量分布图和分析剂量分布图进行图像配准,获取历史配准分布图和分析配准分布图,可以消除不同用户的图像间的差异,确保生成图像搜索模型的准确性。
在一实施例中,如图5所示,步骤s304,即查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定第一历史用户标识对应的对比剂量分布图,包括:
s501:基于第一历史用户标识对应的历史配准分布图确定靶区部位。
其中,靶区部位是指肿瘤部位。历史配准分布图中包括靶区部位和危及器官部位,通过计算机或者人工在第一历史用户标识对应的历史配准分布图中勾勒出靶区部位,以便后续查找相同的靶区部位的其他历史用户标识对应的历史剂量分布图。例如,靶区部位为肺部肿瘤,则从图像数据库中筛选出肺部肿瘤的历史剂量分布图,从而减少图像查找数量,提高后续获取对比剂量分布图的效率。
s502:基于靶区部位查询图像数据库,获取与历史配准分布图相似度小于第一预设阈值的对比剂量分布图。
其中,第一预设阈值是用于判断不同历史用户标识对应的剂量分布图是否达到相似标准的阈值。
具体地,通过图像匹配算法计算第一历史用户标识对应的历史配准分布图和其他历史用户标识对应的历史配准分布图的相似度,将相似度小于第一预设阈值的其他历史用户标识对应的历史配准分布图确定为第一历史用户标识的对比剂量分布图,以获取训练图像搜索模型的样本。可以理解地,由于每一用户标识对应的历史配准分布图可能不一样,因此,可以获取相似度最小的x(x为正整数)个其他历史用户标识对应的历史配准分布图作为训练样本,确保用于训练图像搜索模型的样本数量充足。本实施例中,图像匹配算法包括但不限于基于灰度的匹配算法和基于特征的匹配算法。
本实施例所提供的基于人工智能的图像搜索方法,基于第一历史用户标识对应的历史配准分布图确定靶区部位,从而减少图像查找数量,提高获取对比剂量分布图的效率。基于靶区部位查询图像数据库,获取与历史配准分布图相似度小于第一预设阈值的对比剂量分布图,以获取训练图像搜索模型的样本,为训练图像搜索模型提供技术。
在一实施例中,如图6所示,步骤s304,即查询图像数据库,将其他历史用户标识的历史剂量分布图,确定为第一历史用户标识对应的对比剂量分布图,包括:
s601:从图像数据库获取第二历史用户标识对应的历史配准分布图。
其中,第二历史用户标识是指除第一历史用户标识外的其他任意一个历史用户的标识。具体地,从图像数据库中获取第二历史用户标识对应的历史配准分布图,以便后续获取到用于进行训练的对比剂量分布图。
s602:基于第一历史用户标识的历史配准分布图和历史危及器官勾画图获取第一历史用户标识对应的第一dvh图,基于第一历史用户标识的历史危及器官勾画图和第二历史用户标识对应的历史配准分布图生成对应的第二dvh图。
其中,dvh是dose-volumehistogram的缩写,是指剂量体积直方图。dvh图中纵坐标代表患病部位的体积,横坐标代表放疗的剂量。剂量体积直方图具体包括了两条曲线,其中一条曲线体现放疗计划中靶区部位的剂量-体积的关系,另一条曲线体现了放疗计划中危及器官的剂量-体积的关系。
具体地,预先在第一历史用户标识对应的历史ct图上勾画出靶区部位和危及器官,并将靶区部位所在区域转化为向量1表示,将危及器官所在区域转化为向量0表示,生成第一向量矩阵;同理,将第一历史用户标识对应的历史配准分布图中放疗剂量的数值转化为相应的第二向量矩阵;再将第一向量矩阵与第二向量矩阵相乘,从而得到第一历史用户标识对应的靶区部位的剂量与体积曲线。可以理解地,由于靶区部位所在区域的向量为1,则保留了靶区部位的剂量与体积的关系,将第一向量矩阵与第二向量矩阵相乘,可得到第一历史用户标识对应的靶区部位的剂量与体积曲线。相对地,将靶区部位所在区域转化为向量0表示,将危及器官所在区域转化为向量1表示,生成第三向量矩阵,第二向量矩阵与第三向量矩阵相乘,以获取危及器官中剂量-体积的关系,即第一历史用户标识对应的危及器官的剂量与体积曲线,从而生成第一dvh图。
同理地,根据第二历史用户标识对应的历史配准分布图中放疗剂量的数值转化为第四向量矩阵,第一向量矩阵与第四向量矩阵相乘,以得到第二历史用户标识对应的靶区部位的剂量与体积的关系;相对地,第三向量矩阵与第四向量矩阵相乘,以获取第二历史用户标识的危及器官的剂量-体积的关系,以生成第二dvh图。
s603:采用相似度算法对第一dvh图和第二dvh图进行相似度计算,获取目标相似度。
其中,目标相似度是用于表示第一dvh图和第二dvh图之间相似程度的值。
具体地,在第一dvh图的靶区部位的剂量与体积曲线取间隔相等的n个点,在第二dvh图中靶区部位的剂量与体积曲线取间隔相等的n个点,计算第一dvh图和第二dvh图中靶区部位的剂量与体积曲线n个点的距离差值,形成第一坐标差值;同理地,在第一dvh图的危及器官的剂量与体积曲线取间隔相等的n个点,在第二dvh图的危及器官的剂量与体积曲线取间隔相等的n个点,计算第一dvh图和第二dvh图的危及器官的剂量与体积曲线中n个点的距离差值,形成第二坐标差值;求第一坐标差值和第二坐标差值的平均值,作为目标相似度,后续可以根据目标相似度,精准地确定对比剂量分布图。可以理解地,第一dvh图是根据第一历史用户标识的历史配准分布图和历史危及器官勾画图获取的,第二dvh图是根据第一历史用户标识的历史危及器官勾画图和第二历史用户标识对应的历史配准分布图获取的,若第一历史用户标识对应的历史配准分布图和第二历史用户标识对应的历史配准分布图相似,则第一dvh图和第二dvh图也应该是相似的。相反,若第一历史用户标识对应的历史配准分布图和第二历史用户标识对应的历史配准分布图不相似,则第一dvh图和第二dvh图也应该是不相似的。
s604:若目标相似度小于第二预设阈值,则将第二历史用户标识的历史配准分布图作为与第一历史用户标识的历史配准分布图相对应的对比剂量分布图。
其中,第二预设阈值用于判断第一dvh图和第二dvh图是否达到相似标准的值。
具体地,目标相似度小于预设阈值时,说明第一dvh图和第二dvh图并不相似,则将第二历史用户标识对应的历史剂量分布图作为与第一历史用户标识的历史配准分布图相对应的对比剂量分布图,将不相似的历史剂量分布图作为对比剂量分布图,以确保生成的图像搜索模型可以准确识别相似的图像与不相似的图像的距离,提高生成的图像搜索模型准确度,确保后续将剂量分布图输入图像搜索模型生成的特征向量。
本实施例所提供的基于人工智能的图像搜索方法中,从图像数据库获取第二历史用户标识对应的历史配准分布图,以便后续获取用于进行训练的对比剂量分布图,基于第一历史用户标识的历史配准分布图和历史危及器官勾画图获取第一历史用户标识对应的第一dvh图,基于第一历史用户标识的历史危及器官勾画图和任一历史用户标识对应的历史配准分布图生成对应的第二dvh图。采用相似度算法对第一dvh图和第二dvh图进行相似度计算,后续可以根据目标相似度精准地确定对比剂量分布图。若目标相似度小于预设阈值,则将其他用户标识的历史剂量分布图作为与第一历史用户标识的历史配准分布图相对应的对比剂量分布图。
在一实施例中,如图7所示,步骤s205,基于目标特征向量查询放疗计划数据库,获取与目标特征向量相匹配的目标剂量分布图,包括:
s701:查询放疗计划数据库,获取任一历史用户标识对应的历史特征向量。
具体地,在训练好图像搜索模型后,则将所有历史用户标识对应的历史剂量分布图进行配准,将配准后的历史配准分布图输入图像搜索模型,以生成每一历史用户标识对应的历史特征向量,并存储在放疗计划数据库中,因此,服务器查询放疗计划数据库,则可以快速获取到所有历史用户标识对应的历史特征向量。
s702:计算目标特征向量与历史特征向量的目标相似值。
其中,目标相似值是表示目标特征向量与历史特征向量的相似程度的值。
具体地,服务器可以通过相似度算法以快速地计算目标特征向量与历史特征向量的目标相似值。本实施例中,相似度算法包括但不限于余弦相似度算法、欧式距离算法和曼哈顿算法等。
s703:若目标相似值大于第三预设阈值,则将历史特征向量对应的历史配准分布图确定为目标剂量分布图。
其中,第三预设阈值是用于判断历史特征向量与目标特征向量是否达到相似标准的值。
具体地,计算目标特征向量与历史特征向量的目标相似值,将目标相似值按照由大到小进行排序,根据排序结果,选取目标相似值大于第三预设阈值的前m(m为正整数)个历史特征向量对应的历史配准分布图,将选取出来的历史剂量分布图作为目标剂量分布图,以便后续根据该历史剂量分布图查找关联存储的历史放疗计划,为临床医生提供制定目标用户的历史放疗计划作为参考。
本实施例所提供的图像搜索模型,查询放疗计划数据库,获取任一历史用户标识对应的历史特征向量。计算目标特征向量与历史特征向量的目标相似值。若目标相似值大于第三预设阈值,则将历史特征向量对应的历史配准分布图确定为目标剂量分布图,以便后续根据该历史剂量分布图查找关联存储的历史放疗计划,为临床医生提供制定目标用户的历史放疗计划作为参考。
在一实施例中,如图8所示,在步骤s205之前,在基于目标用户标识对应的特征向量查询放疗计划数据库之前,基于人工智能的图像搜索方法还包括:
s801:从图像数据库中获取n个历史剂量分布图。
具体地,将所有经过放疗的历史用户的图像数据存储在图像数据库中,且每一历史用户的图像数据与对应的历史用户标识关联存储,并存储在服务器中,服务器可以通过关键字匹配等查询算法,快速获取所有历史用户的历史剂量分布图,例如,服务器可以通过关键字“剂量分布图”查找所有的历史剂量分布图。
s802:采用图像配准算法对历史剂量分布图进行配准处理,获取历史配准分布图。
具体地,通过采用图像配准算法对历史剂量分布图进行配准处理,获取历史配准分布图与步骤s401一致,为避免重复,在此不再赘述。
s803:将历史配准分布图输入图像搜索模型,生成对应的历史特征向量。
具体地,将历史配准分布图输入图像搜索模型,生成对应的历史特征向量与步骤s204生成目标特征向量的过程一致,为避免重复,在此不再赘述。
s804:将每一历史用户标识的历史特征向量和对应的历史配准分布图关联存储在放疗计划数据库。
具体地,将相同历史用户标识的历史特征向量、历史配准分布图、历史剂量分布图和历史放疗计划关联存储在放疗计划数据库中,以便后续查找与目标特征向量相似的历史特征向量,从而获得与目标用户相似患病部位的历史用户的历史放疗计划,为临床医生提供参考。
本实施例所提供的图像搜索模型,从图像数据库中获取n个历史剂量分布图,采用图像配准算法对历史剂量分布图进行配准处理,获取历史配准分布图,将历史配准分布图输入图像搜索模型,生成对应的历史特征向量,以便后续计算历史特征向量与目标特征向量的目标相似值。将每一历史用户标识的历史特征向量和对应的历史配准分布图关联存储在放疗计划数据库,以便后续查找与目标特征向量相似的历史特征向量,从而获得与目标用户相似患病部位的历史用户的历史放疗计划,为临床医生提供参考。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种基于人工智能的图像搜索装置,该基于人工智能的图像搜索装置与上述实施例中基于人工智能的图像搜索方法一一对应。如图9所示,该基于人工智能的图像搜索装置包括图像搜索请求获取模块901、原始剂量分布图获取模块902、标准剂量分布图获取模块903、目标特征向量获取模块904和目标剂量分布图获取模块905。
各功能模块详细说明如下:
图像搜索请求获取模块901,用于获取图像搜索请求,图像搜索请求包括目标用户标识、与目标用户标识相对应的原始ct图和原始危及器官勾画图。
原始剂量分布图获取模块902,用于将原始ct图和原始危及器官勾画图输入剂量分析模型,生成与目标用户标识对应的原始剂量分布图。
标准剂量分布图获取模块903,用于对原始剂量分布图进行配准处理,获取标准剂量分布图。
目标特征向量获取模块904,用于将标准剂量分布图输入图像搜索模型,获取目标用户标识对应的目标特征向量。
目标剂量分布图获取模块905,用于基于目标特征向量查询放疗计划数据库,获取与目标特征向量相匹配的目标剂量分布图。
进一步地,在目标特征向量获取模块904之前,基于人工智能的图像搜索装置还包括:历史用户图像数据获取模块、分析剂量分布图获取模块、图像配准处理模块、对比剂量分布图确定模块、训练样本确定模块和图像搜索模型获取模块。
历史用户图像数据获取模块,用于获取第一历史用户标识的历史用户图像数据,历史用户图像数据包括历史ct图、历史危及器官勾画图和历史剂量分布图。
分析剂量分布图获取模块,用于将第一历史用户标识对应的历史ct图和历史危及器官勾画图输入到剂量分析模型,获取第一历史用户标识对应的分析剂量分布图。
图像配准处理模块,用于基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图。
对比剂量分布图确定模块,用于查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定第一历史用户标识对应的对比剂量分布图。
训练样本确定模块,用于将第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图作为训练样本。
图像搜索模型获取模块,用于将训练样本输入基于三元损失函数的卷积神经网络进行模型训练,获取图像搜索模型。
进一步地,图像配准处理模块,包括:
历史配准参数获取单元,用于采用图像配准算法将第一历史用户标识对应的历史ct图与标准ct图进行配准,获取历史配准参数。
配准分布图获取单元,用于基于历史配准参数对历史剂量分布图和分析剂量分布图进行图像配准,获取历史配准分布图和分析配准分布图。
进一步地,对比剂量分布图确定模块,包括:靶区部位确定单元和第一判断单元。
靶区部位确定单元,用于基于第一历史用户标识对应的历史配准分布图确定靶区部位。
第一判断单元,用于基于靶区部位查询图像数据库,获取与历史配准分布图相似度小于第一预设阈值的对比剂量分布图。
进一步地,对比剂量分布图确定模块,包括:历史配准分布图获取单元、dvh图获取单元、目标相似度获取单元和第二判断单元。
历史配准分布图获取单元,用于从图像数据库获取第二历史用户标识对应的历史配准分布图。
dvh图获取单元,用于基于第一历史用户标识的历史配准分布图和历史危及器官勾画图获取第一历史用户标识对应的第一dvh图,基于第一历史用户标识的历史危及器官勾画图和第二历史用户标识对应的历史配准分布图生成对应的第二dvh图。
目标相似度获取单元,用于采用相似度算法对第一dvh图和第二dvh图进行相似度计算,获取目标相似度。
第二判断单元,用于若目标相似度小于第二预设阈值,则将第二历史用户标识的历史配准分布图作为与第一历史用户标识的历史配准分布图相对应的对比剂量分布图。
进一步地,目标剂量分布图获取模块905,包括:放疗计划数据库查询单元、特征向量计算单元和第三判断单元。
放疗计划数据库查询单元,用于查询放疗计划数据库,获取任一历史用户标识对应的历史特征向量。
特征向量计算单元,用于计算目标特征向量与历史特征向量的目标相似值。
第三判断单元,用于若目标相似值大于第三预设阈值,则将历史特征向量对应的历史配准分布图确定为目标剂量分布图。
进一步地,在目标剂量分布图获取模块905之前,基于人工智能的图像搜索装置还包括:历史剂量分布图获取单元、配准处理单元、历史特征向量生成单元和放疗计划数据库生成单元。
历史剂量分布图获取单元,用于从图像数据库中获取n个历史剂量分布图。
配准处理单元,用于采用图像配准算法对历史剂量分布图进行配准处理,获取历史配准分布图。
历史特征向量生成单元,用于将历史配准分布图输入图像搜索模型,生成对应的历史特征向量。
放疗计划数据库生成单元,用于将每一历史用户标识的历史特征向量和对应的历史配准分布图关联存储在放疗计划数据库。
关于基于人工智能的图像搜索装置的具体限定可以参见上文中对于基于人工智能的图像搜索方法的限定,在此不再赘述。上述基于人工智能的图像搜索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史配准分布图。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的图像搜索方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中基于人工智能的图像搜索方法的步骤,例如图2所示的步骤s201-s205,或者图3至图8中所示的步骤,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现基于人工智能的图像搜索装置这一实施例中的各模块/单元的功能,例如图9所示的图像搜索请求获取模块901、原始剂量分布图获取模块902、标准剂量分布图获取模块903、目标特征向量获取模块904和目标剂量分布图获取模块905的功能,为避免重复,这里不再赘述。
在一实施例中,提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中基于人工智能的图像搜索方法的步骤,例如图2所示的步骤s201-s205,或者图3至图8中所示的步骤,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现基于人工智能的图像搜索装置这一实施例中的各模块/单元的功能,例如图9所示的图像搜索请求获取模块901、原始剂量分布图获取模块902、标准剂量分布图获取模块903、目标特征向量获取模块904和目标剂量分布图获取模块905的功能,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
1.一种基于人工智能的图像搜索方法,其特征在于,包括:
获取图像搜索请求,所述图像搜索请求包括目标用户标识、与所述目标用户标识相对应的原始ct图和原始危及器官勾画图;
将所述原始ct图和所述原始危及器官勾画图输入剂量分析模型,生成与所述目标用户标识对应的原始剂量分布图;
对所述原始剂量分布图进行配准处理,获取标准剂量分布图;
将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量;
基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图。
2.如权利要求1所述的基于人工智能的图像搜索方法,其特征在于,在所述将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量之前,所述基于人工智能的图像搜索方法还包括:
获取第一历史用户标识的历史用户图像数据,所述历史用户图像数据包括历史ct图、历史危及器官勾画图和历史剂量分布图;
将第一历史用户标识对应的历史ct图和历史危及器官勾画图输入到剂量分析模型,获取所述第一历史用户标识对应的分析剂量分布图;
基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图;
查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定所述第一历史用户标识对应的对比剂量分布图;
将所述第一历史用户标识对应的历史配准分布图、分析配准分布图和对比剂量分布图作为训练样本;
将所述训练样本输入基于三元损失函数的卷积神经网络进行模型训练,获取图像搜索模型。
3.如权利要求2所述的基于人工智能的图像搜索方法,其特征在于,所述基于第一历史用户标识对应的历史剂量分布图和分析剂量分布图,获取历史配准分布图和分析配准分布图,包括:
采用图像配准算法将所述第一历史用户标识对应的历史ct图与标准ct图进行配准,获取历史配准参数;
基于所述历史配准参数对历史剂量分布图和分析剂量分布图进行图像配准,获取历史配准分布图和分析配准分布图。
4.如权利要求2所述的基于人工智能的图像搜索方法,其特征在于,所述查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定所述第一历史用户标识对应的对比剂量分布图,包括:
基于所述第一历史用户标识对应的历史配准分布图确定靶区部位;
基于所述靶区部位查询图像数据库,获取与所述历史配准分布图相似度小于第一预设阈值的对比剂量分布图。
5.如权利要求2所述的基于人工智能的图像搜索方法,其特征在于,所述查询图像数据库,基于其他历史用户标识的历史剂量分布图,确定所述第一历史用户标识对应的对比剂量分布图,包括:
从图像数据库获取第二历史用户标识对应的历史配准分布图;
基于所述第一历史用户标识的历史配准分布图和历史危及器官勾画图,获取所述第一历史用户标识对应的第一dvh图,基于第一历史用户标识的历史危及器官勾画图和第二历史用户标识对应的历史配准分布图,生成第二历史用户标识对应的第二dvh图;
采用相似度算法对所述第一dvh图和第二dvh图进行相似度计算,获取目标相似度;
若所述目标相似度小于第二预设阈值,则将所述第二历史用户标识的历史配准分布图作为与所述第一历史用户标识的历史配准分布图相对应的对比剂量分布图。
6.如权利要求1所述的基于人工智能的图像搜索方法,其特征在于,所述基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图,包括:
查询放疗计划数据库,获取任一历史用户标识对应的历史特征向量;
计算所述目标特征向量与所述历史特征向量的目标相似值;
若所述目标相似值大于第三预设阈值,则将所述历史特征向量对应的历史配准分布图确定为目标剂量分布图。
7.如权利要求1所述的基于人工智能的图像搜索方法,其特征在于,在所述基于所述目标特征向量查询放疗计划数据库之前,所述基于人工智能的图像搜索方法还包括:
从图像数据库中获取n个历史剂量分布图;
采用所述图像配准算法对所述历史剂量分布图进行配准处理,获取历史配准分布图;
将所述历史配准分布图输入图像搜索模型,生成对应的历史特征向量;
将每一历史用户标识的所述历史特征向量和对应的所述历史配准分布图关联存储在放疗计划数据库。
8.一种基于人工智能的图像搜索装置,其特征在于,包括:
图像搜索请求获取模块,用于获取图像搜索请求,所述图像搜索请求包括目标用户标识、与所述目标用户标识相对应的原始ct图和原始危及器官勾画图;
原始剂量分布图获取模块,用于将所述原始ct图和所述原始危及器官勾画图输入剂量分析模型,生成与所述目标用户标识对应的原始剂量分布图;
标准剂量分布图获取模块,用于对所述原始剂量分布图进行配准处理,获取标准剂量分布图;
目标特征向量获取模块,用于将所述标准剂量分布图输入图像搜索模型,获取所述目标用户标识对应的目标特征向量;
目标剂量分布图获取模块,用于基于所述目标特征向量查询放疗计划数据库,获取与所述目标特征向量相匹配的目标剂量分布图。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于人工智能的图像搜索方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于人工智能的图像搜索方法的步骤。
技术总结