一种基于ai技术的舌象识别辅助诊断系统
技术领域
1.本发明属于舌诊技术领域，尤其涉及一种基于ai技术的舌象识别辅助诊断系统。
背景技术：2.中医认为舌面不同区域分属不同脏腑，故把舌面分为四个区域和五脏六腑相应，通过对舌尖、舌中、舌根、舌边进行肉眼识别颜色、形状、特征等，判断出病人对应的身体情况。机器学习，是研究计算机怎样模拟或实现人类的学习行为，训练机器以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。图像识别，是指通过软件技术对图像进行对象识别，以识别各种不同模式的目标和对像的技术。颜色校准，是通过软件技术对图片的颜色进行校准，使图片的颜色更加贴近于肉眼所看到的真实颜色。
3.现在舌诊受限于拍摄技术影响，颜色存在偏差，只能依赖于医生通过肉眼面对面进行检查，并通过经验进行判断，对地理位置有特殊要求，以及对医生的经验、资历等有较深的要求。
技术实现要素：4.本发明实施例的目的在于提供一种基于ai技术的舌象识别辅助诊断系统，旨在解决背景技术中提出的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：
6.一种基于ai技术的舌象识别辅助诊断系统，所述系统包括舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元，其中：
7.舌象模型训练单元，用于训练生成舌象识别模型、舌象属性提取模型和舌诊模型，并在辅助诊断过程中，对所述舌象识别模型、所述舌象属性提取模型和所述舌诊模型进行持续优化；
8.照片颜色校准单元，用于获取患者的对比拍摄照片，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片；
9.舌象识别处理单元，用于通过所述舌象识别模型，对所述标准拍摄照片进行识别处理，提取所述标准拍摄照片中的舌象图片；
10.舌象属性提取单元，用于通过所述舌象属性提取模型，对所述舌象图片进行属性提取，获取多个舌象属性标签；
11.辅助诊断处理单元，用于获取病人自填的调查信息，通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成舌象诊断结果。
12.作为本发明实施例技术方案进一步的限定，所述舌象模型训练单元具体包括：
13.识别模型训练模块，用于训练生成舌象识别模型，并对所述舌象识别模型进行持续优化；
14.提取模型训练模块，用于训练生成舌象属性提取模型，并对所述舌象属性提取模型进行持续优化；
15.舌诊模型训练模块，用于训练生成舌诊模型，并对所述舌诊模型进行持续优化。
16.作为本发明实施例技术方案进一步的限定，所述照片颜色校准单元具体包括：
17.拍摄照片获取模块，用于获取患者拍摄的带有标准色卡的对比拍摄照片；
18.颜色偏差计算模块，用于计算所述对比拍摄照片中标准色卡的颜色偏差，得到偏差参数；
19.照片颜色校准模块，用于按照所述偏差参数，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片。
20.作为本发明实施例技术方案进一步的限定，所述舌象识别处理单元具体包括：
21.模型舌象识别模块，用于通过所述舌象识别模型，对所述标准拍摄照片进行舌象识别，生成舌象识别结果；
22.舌象图片提取模块，用于按照所述舌象识别结果，从所述标准拍摄照片中提取舌象图片。
23.作为本发明实施例技术方案进一步的限定，所述舌象属性提取单元具体包括：
24.模型舌象解析模块，用于通过所述舌象属性提取模型，对所述舌象图片进行舌象解析，生成舌象解析结果；
25.舌象属性提取模块，用于按照所述舌象解析结果进行属性提取，获取多个舌象属性标签。
26.作为本发明实施例技术方案进一步的限定，所述辅助诊断处理单元具体包括：
27.调查信息获取模块，用于获取病人自填的调查信息；
28.辅助诊断处理模块，用于通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成辅助诊断结果；
29.诊断结果获取模块，用于获取医生按照所述辅助诊断结果进行舌象诊断生成的舌象诊断结果。
30.作为本发明实施例技术方案进一步的限定，所述调查信息为用户填在固定格式的调查表格上的信息，所述调查信息和所述对比拍摄照片由患者自助上传。
31.与现有技术相比，本发明的有益效果是：
32.本发明实施例公开的一种基于ai技术的舌象识别辅助诊断系统，包括：舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元。通过训练生成舌象识别模型、舌象属性提取模型和舌诊模型，对患者拍摄的对比拍摄照片进行舌象的辅助诊断，生成舌象诊断结果，能够有效提升医生在进行中医舌诊时的效率，且能够减少面对面沟通时的风险，在存在传染性疫情的情况下，病人无需前往医院通过线上就可以进行中医舌诊，有效减少了疫情感染传播的风险。
附图说明
33.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
34.图1示出了本发明实施例提供的系统的应用架构图。
35.图2示出了本发明实施例中获取的对比拍摄照片的示意图。
36.图3示出了本发明实施例中舌象蒙版处理的示意图。
37.图4示出了本发明实施例中提取舌象图片的示意图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.可以理解的是，在现有技术中，舌诊受限于拍摄技术影响，颜色存在偏差，只能依赖于医生通过肉眼面对面进行检查，并通过经验进行判断，对地理位置有特殊要求，以及对医生的经验、资历等有较深的要求。
40.为解决上述问题，本发明实施例公开的一种基于ai技术的舌象识别辅助诊断系统，包括：舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元。通过训练生成舌象识别模型、舌象属性提取模型和舌诊模型，对患者拍摄的对比拍摄照片进行舌象的辅助诊断，生成舌象诊断结果，能够有效提升医生在进行中医舌诊时的效率，且能够减少面对面沟通时的风险，在存在传染性疫情的情况下，病人无需前往医院通过线上就可以进行中医舌诊，有效减少了疫情感染传播的风险。
41.图1示出了本发明实施例提供的系统的应用架构图。
42.具体的，一种基于ai技术的舌象识别辅助诊断系统，所述系统包括舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元，其中：
43.舌象模型训练单元101，用于训练生成舌象识别模型、舌象属性提取模型和舌诊模型，并在辅助诊断过程中，对所述舌象识别模型、所述舌象属性提取模型和所述舌诊模型进行持续优化。
44.在本发明实施例中，舌象模型训练单元101进行舌象识别模型、舌象属性提取模型和舌诊模型的训练与优化，具体的：(1)、对于舌象识别模型，舌象指病人所拍摄的照片中对应舌头部分的图片，如图3示出了本发明实施例中舌象蒙版处理的示意图，通过人工对样本数据进行蒙版处理，即人工在样本照片上抠出舌头部位的图片，并将其他部位的图片涂黑，通过编写训练程序，由训练程序学习样本图片的如何识别到对应的舌头部位，训练完成以后输出舌象识别模型，舌象识别模型后续在输入图片之后会自动识别图片中的舌象，如果识别错误则又人工进行辅助校正，同时训练程序会记录该次错误使下次识别到相同类型的错误能更加精准，由此不断优化整个舌象识别模型；(2)、对于舌象属性提取模型，舌象属性是指医生根据病人照片对该舌象所记录的标签，通过医生对样本数据的舌象进行标签标记，通过训练程序对舌象以及对应标签进行关联训练，训练完成以后输出舌象属性提取模型，舌象属性提取模型在后续输入图片并识别出舌象之后，对舌象进行解析，自动输出对应的标签，如果标签有缺失或者不准确的内容则由医生进行辅助校正，同时训练程序会自动记录该次错误并不断学习，使得不断优化整个舌象属性提取模型；(3)、对于舌诊模型，舌诊是指根据舌象对病人病情进行初步诊断，通过巡检程序，对样本数据的舌象属性标签、病人自填的调查信息进行训练，并输出舌诊模型，通过舌诊模型能根据病人提供的照片、自填的调查信息，进行自动诊断，并初步输出预判支持，并由医生每次最终诊断，完成后对通过训
练程序的诊断过程以及结果进行学习，不断完善整个舌诊模型。
45.其中，在本发明提供的优选实施方式中，所述舌象模型训练单元101具体包括：
46.识别模型训练模块，用于训练生成舌象识别模型，并对所述舌象识别模型进行持续优化。
47.提取模型训练模块，用于训练生成舌象属性提取模型，并对所述舌象属性提取模型进行持续优化。
48.舌诊模型训练模块，用于训练生成舌诊模型，并对所述舌诊模型进行持续优化。
49.进一步的，所述基于ai技术的舌象识别辅助诊断系统还包括：
50.照片颜色校准单元102，用于获取患者的对比拍摄照片，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片。
51.在本发明实施例中，如图2示出了本发明实施例中获取的对比拍摄照片的示意图，问诊患者通过手持标准色卡并尽量伸出舌头拍摄一张对比拍摄照片，需要保证舌头图像的完整以及标准色卡的完整，标准色卡上记录了相关的标准颜色，由于不同拍摄设备对照片会有不同的处理，导致照片的颜色与实际肉眼缩所见的颜色存在偏差，照片颜色校准单元102会自动计算照片上病人手持的标准色卡与实际的标准颜色的偏差，并对对比拍摄照片的颜色进行修正，使之更加贴合实际肉眼所见的真实颜色，生成标准拍摄照片。
52.其中，在本发明提供的优选实施方式中，所述照片颜色校准单元102具体包括：
53.拍摄照片获取模块，用于获取患者拍摄的带有标准色卡的对比拍摄照片。
54.颜色偏差计算模块，用于计算所述对比拍摄照片中标准色卡的颜色偏差，得到偏差参数。
55.照片颜色校准模块，用于按照所述偏差参数，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片。
56.进一步的，所述基于ai技术的舌象识别辅助诊断系统还包括：
57.舌象识别处理单元103，用于通过所述舌象识别模型，对所述标准拍摄照片进行识别处理，提取所述标准拍摄照片中的舌象图片。
58.在本发明实施例中，如图4示出了本发明实施例中提取舌象图片的示意图，舌象识别处理单元103通过舌象识别模型，对标准拍摄照片进行识别处理，从而识别并提取标准拍摄照片中的舌象图片。
59.其中，在本发明提供的优选实施方式中，所述舌象识别处理单元103具体包括：
60.模型舌象识别模块，用于通过所述舌象识别模型，对所述标准拍摄照片进行舌象识别，生成舌象识别结果。
61.舌象图片提取模块，用于按照所述舌象识别结果，从所述标准拍摄照片中提取舌象图片。
62.进一步的，所述基于ai技术的舌象识别辅助诊断系统还包括：
63.舌象属性提取单元104，用于通过所述舌象属性提取模型，对所述舌象图片进行属性提取，获取多个舌象属性标签。
64.在本发明实施例中，舌象属性提取单元104通过舌象属性提取模型，对舌象图片进行舌象解析，生成舌象解析结果，进而按照舌象解析结果，进行属性提取，获取多个舌象属性标签。
65.其中，在本发明提供的优选实施方式中，所述舌象属性提取单元104具体包括：
66.模型舌象解析模块，用于通过所述舌象属性提取模型，对所述舌象图片进行舌象解析，生成舌象解析结果。
67.舌象属性提取模块，用于按照所述舌象解析结果进行属性提取，获取多个舌象属性标签。
68.进一步的，所述基于ai技术的舌象识别辅助诊断系统还包括：
69.辅助诊断处理单元105，用于获取病人自填的调查信息，通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成舌象诊断结果。
70.在本发明实施例中，辅助诊断处理单元105获取病人自填的调查信息，通过舌诊模型，对调查信息和多个舌象属性标签进行辅助诊断处理，生成辅助诊断结果，并提供给到医生进行辅助参考，进而获取医生按照辅助诊断结果进行舌象诊断生成的舌象诊断结果，其中，调查信息为用户填在固定格式的调查表格上的信息，调查信息和对比拍摄照片由患者自助上传。
71.其中，在本发明提供的优选实施方式中，所述辅助诊断处理单元105具体包括：
72.调查信息获取模块，用于获取病人自填的调查信息。
73.辅助诊断处理模块，用于通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成辅助诊断结果。
74.诊断结果获取模块，用于获取医生按照所述辅助诊断结果进行舌象诊断生成的舌象诊断结果。
75.综上所述，本发明实施例公开的一种基于ai技术的舌象识别辅助诊断系统，包括：舌象模型训练单元101、照片颜色校准单元102、舌象识别处理单元103、舌象属性提取单元104和辅助诊断处理单元105。通过训练生成舌象识别模型、舌象属性提取模型和舌诊模型，对患者拍摄的对比拍摄照片进行舌象的辅助诊断，生成舌象诊断结果，能够有效提升医生在进行中医舌诊时的效率，且能够减少面对面沟通时的风险，在存在传染性疫情的情况下，病人无需前往医院通过线上就可以进行中医舌诊，有效减少了疫情感染传播的风险。
76.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
77.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram
(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
78.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
79.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
80.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于ai技术的舌象识别辅助诊断系统，其特征在于，所述系统包括舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元，其中：舌象模型训练单元，用于训练生成舌象识别模型、舌象属性提取模型和舌诊模型，并在辅助诊断过程中，对所述舌象识别模型、所述舌象属性提取模型和所述舌诊模型进行持续优化；照片颜色校准单元，用于获取患者的对比拍摄照片，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片；舌象识别处理单元，用于通过所述舌象识别模型，对所述标准拍摄照片进行识别处理，提取所述标准拍摄照片中的舌象图片；舌象属性提取单元，用于通过所述舌象属性提取模型，对所述舌象图片进行属性提取，获取多个舌象属性标签；辅助诊断处理单元，用于获取病人自填的调查信息，通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成舌象诊断结果。2.根据权利要求1所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述舌象模型训练单元具体包括：识别模型训练模块，用于训练生成舌象识别模型，并对所述舌象识别模型进行持续优化；提取模型训练模块，用于训练生成舌象属性提取模型，并对所述舌象属性提取模型进行持续优化；舌诊模型训练模块，用于训练生成舌诊模型，并对所述舌诊模型进行持续优化。3.根据权利要求1所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述照片颜色校准单元具体包括：拍摄照片获取模块，用于获取患者拍摄的带有标准色卡的对比拍摄照片；颜色偏差计算模块，用于计算所述对比拍摄照片中标准色卡的颜色偏差，得到偏差参数；照片颜色校准模块，用于按照所述偏差参数，对所述对比拍摄照片进行颜色校准，生成标准拍摄照片。4.根据权利要求1所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述舌象识别处理单元具体包括：模型舌象识别模块，用于通过所述舌象识别模型，对所述标准拍摄照片进行舌象识别，生成舌象识别结果；舌象图片提取模块，用于按照所述舌象识别结果，从所述标准拍摄照片中提取舌象图片。5.根据权利要求1所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述舌象属性提取单元具体包括：模型舌象解析模块，用于通过所述舌象属性提取模型，对所述舌象图片进行舌象解析，生成舌象解析结果；舌象属性提取模块，用于按照所述舌象解析结果进行属性提取，获取多个舌象属性标
签。6.根据权利要求1所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述辅助诊断处理单元具体包括：调查信息获取模块，用于获取病人自填的调查信息；辅助诊断处理模块，用于通过所述舌诊模型，对所述调查信息和多个所述舌象属性标签进行辅助诊断处理，生成辅助诊断结果；诊断结果获取模块，用于获取医生按照所述辅助诊断结果进行舌象诊断生成的舌象诊断结果。7.根据权利要求6所述的基于ai技术的舌象识别辅助诊断系统，其特征在于，所述调查信息为用户填在固定格式的调查表格上的信息，所述调查信息和所述对比拍摄照片由患者自助上传。
技术总结本发明涉及舌诊技术领域，具体公开了一种基于AI技术的舌象识别辅助诊断系统。本发明公开的一种基于AI技术的舌象识别辅助诊断系统，包括：舌象模型训练单元、照片颜色校准单元、舌象识别处理单元、舌象属性提取单元和辅助诊断处理单元。通过训练生成舌象识别模型、舌象属性提取模型和舌诊模型，对患者拍摄的对比拍摄照片进行舌象的辅助诊断，生成舌象诊断结果，能够有效提升医生在进行中医舌诊时的效率，且能够减少面对面沟通时的风险，在存在传染性疫情的情况下，病人无需前往医院通过线上就可以进行中医舌诊，有效减少了疫情感染传播的风险。险。险。
技术研发人员：陈曲波 张北平 曾璇 钟彩玲 李曼 黄佩娣 王楚杨 李婉桦 陈颖 林凤叶
受保护的技术使用者：广东省中医院（广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院）
技术研发日：2022.09.20
技术公布日：2022/12/6
