深度学习图像处理目标检测图像分割计算机视觉 07--图像检索

摘要一、传统的图像检索做法1.1、相似颜色检索1.2、相似纹理检索1.3、相似形状检索1.4、相似局部特征检索1.5、Bag Of Visual Word（词包）二、基于深度学习的图像检索2.1、基于DL的二值哈希编码2.2、高维空间索引加速2.2.1、KD-Tree2.2.2、 LSH三、甲状腺超声基础知识3.1 甲状腺Thyroid3.2 甲状腺结节3.3 超声四、论文一：一种新的医学图像选择性分割变分方法（A new variational method for selective segmentation of medical images）4.1 摘要4.2 论文结构4.2.1 简介4.2.2 相关工作4.2.3 结论4.3 创新点总结

摘要

本周主要学习图像检索，能够实现检索过程代码，查找有关甲状腺癌超声检测的相关资料，了解甲状腺的症状以及超声检查，了解甲状腺结节的评定规则。研读当前的医学研究与人工智能结合的论文。

一、传统的图像检索做法

1.1、相似颜色检索

颜色直方图就是将RGB图像中出现的颜色进行统计，将一张图象描述成一个256维的特征向量。

首先要考虑的就是对256维的特征向量进行降维

那么怎么计算两个颜色的相似度呢？

有颜色直方图距离和色差距离：

由于人眼的构造特异性，对于很大范围的绿色不太容易辨认，但是对于小范围的蓝色的改变很容易察觉，所以有色差距离。

那么什么是颜色直方图距离里的推土机(EMD)距离呢？

相似颜色检索的流程：

step 1：搜索图片的颜色特征提取

step 2：图片库的颜色特征提取

step 3：颜色相似度计算

4. step 4：根据相似度排序：选择值最小的，即颜色上比较接近的。

1.2、相似纹理检索

1.3、相似形状检索

把图像变成灰度图的原因是颜色对边缘没有影响，所以变成灰度图更好处理。

相似形状检索的算法PHOG比起真正的HOG比较粗糙，效果不是很好，因为这个模型有一个隐含的假设就是所有的图像都是正向的，就好像所有的人都是站立的，他识别不了蹲着的人，躺着的人等等。只能说有一定的效果。

1.4、相似局部特征检索

1.5、Bag Of Visual Word（词包）

二、基于深度学习的图像检索

2.1、基于DL的二值哈希编码

fine-tunong是迁移学习的一个算法，那么什么是迁移学习？

比如我们要训练一个网络来识别猫和狗，若是从头开始训练，需要数以百万计的带有标注的数据，还有GPU资源，若是使用迁移学习，可以使用VGG16这样成熟的物品分类的网络，只训练最后的全连接层，只需要几千张图片，使用普通的CPU就能完成，而且模型的准确性不差。迁移学习的假设就是，不同的数据集之间，初级特征都是相同的，比如折线，边角，因此不需要再重新训练这些参数，而是直接拿来用。

2.2、高维空间索引加速

2.2.1、KD-Tree

2.2.2、 LSH

这里引入一个数学概念：P稳定分布

三、甲状腺超声基础知识

3.1 甲状腺Thyroid

甲状腺是长在我们脖子正下方的一个蝴蝶型器官，分为左叶、右叶和中间的甲状腺峡。重量约10~20g。它是一个非常浅薄的器官。主要用来分泌促进新陈代谢和发育的甲状腺激素，是人体不可或缺的激素之一。

3.2 甲状腺结节

甲状腺结节是一个模糊的总称，很多时候只要出现包块就会称为结节，但实际上，是指的甲状腺肿，这里的肿指的不是肿瘤，而是肿大。

甲状腺肿可以分为两类：弥漫性甲状腺肿和结节性甲状腺肿

弥漫性甲状腺肿：也就是平时俗称的大脖子病。这是由于甲状腺功能问题造成的整体肿大，甲状腺功能问题主要是甲状腺激素分泌过多而引起的甲亢（甲状腺功能亢进症）和甲状腺激素分泌过少引起的甲减（甲状腺功能减退症）。甲状腺功能类问题体检时可以通过检测甲状腺激素FT4和促甲状腺素TSH两个指标来判断。

2.结节性甲状腺肿：这是由于甲状腺里的细胞增生或变异，导致的局部肿大。95%的结节性甲状腺肿都是良性的，只有5%是恶性的。

良性结节主要是由于原因不明的外来刺激，导致的甲状腺内的细胞过度增生和繁殖，在显微镜下，增生的组织细胞形态、排列和正常细胞相同。

恶性结节，绝大部分是一种被称为甲状腺乳头癌的类型，约占整体甲状腺癌的9成，癌细胞内蛋白质很少，细胞核内空洞，但显微镜下呈乳头状，所以被称为甲状腺乳头癌，这类癌细胞的生长速度很慢，一般不会随血液循环系统转移，但会侵入周边的淋巴组织，也正是因为发展缓慢。手术治愈率较高，可以说是相对比较温柔的癌症类型。

体检时，通过甲状腺超声或触诊，可以发现结节性甲状腺肿的概率在40%左右，良性的结节形态比较规则，增生部位的边界轮廓比较清晰，质地柔软。恶性结节的形态不规整，边界轮廓比较模糊，质地偏硬。在切除甲状腺之后，人体缺乏甲状腺激素会出现肥胖，没力气，怕冷，便秘等新陈代谢放缓的甲减症状，严重的会造成心力衰竭，因此需要终身服用甲状腺激素。

3.3 超声

超声是现今应用最广、影响最大一种检查方法，它把各层组织所构成的介面和组织内结构的反射回声，以光点的明暗来反应其强弱，由众多的排列有序的光点组成相应切面的图像，这种灰阶成像使图像非常清晰，层次丰富，是其他一切新技术的基础。包括B型超声，彩色多普勒超声，频谱多普勒超声等多种技术。近年来已经广泛用于临床，并且能够做各种穿刺、取活检、造影或者超声治疗，比如所熟知的介入性超声，都已经广泛地应用于临床。

甲状腺的B超检查，首先会检查甲状腺的峡部，测量一下厚度，正常是2~6毫米。接着检查看回声是否均匀，有没有异常。然后检查左叶和右叶的体积，测量他们的高度厚度以及宽度以及血流，最后还要看有没有异常的物体。

B超下的甲状腺结节，甲状腺B超有很高的敏感性，可以发现小到2~3毫米的结节，B超是甲状腺结节首选的检查方法，超声可以通过检查结节的形态。在检查甲状腺结节时，B超医生可以根据TIRADS对结节进行评分，根据评分的结果对结节划分一个等级，根据等级中的具体的处理策略进行随访或活检穿刺或手术等治疗。

ACR TIRADS为什么将“成分、回声、形状、边界、钙化"五个基本特征作为参考指标，主要原因是:该5个特征对超声仪器及医生要求均不高,给医生提供一个相对客观的评分指标，较容易掌握,脱离仅靠临床经验的时代，适合在基层医院及年轻医生中推广学习，使基层医院处理更加规范化，避免过度医疗。医疗条件较好的医院及水平较高的超声医生不要局限于以上特征，可运用一-些新的技术，比如超声造影及弹性成像，了 解结节肿瘤血流特征及硬度更精准的判断肿瘤性质。从ACR TIRADS中可看到在实性结节(2分) 中，微小钙化、纵横比大于1、腺体外侵犯、极低回声四个特征评分为3分,权重最高，在实性结节中只要含有其中-项就可以达到5分，对于血流信号没有提及,患者在自己阅读报告时不要捕风捉影，不要以为血流信号丰富就是恶性的，弓|起不必要的恐慌，一定要找专业医生就诊。

ACR TIRADS分类系统中，根据分级及结节的大小给出了一个具体的处理策略。考虑到社会经济学因素，其对没有达到细针穿刺标准的结节随访间隔也提供了具体的建议,最短间隔为1年，目的是避免医疗资源浪费。但在我国，超声较便宜，可对评分较高的结节(7分以上)随访可稍微密集，最短可每3个月复查。另外一点，对于小于1cm的结节，即使评分很高，ACR TIRADS也不建议穿刺。还有，TR5这一分类中， 评分为715分,结节恶性风险大于20% 100%，跨度较大，可再细分，个体化处理,不可死板的按照ACR TIRADS建议。

四、论文一：一种新的医学图像选择性分割变分方法（A new variational method for selective segmentation of medical images）

4.1 摘要

选择性分割的目的是在图像中分离目标对象的子集或感兴趣的区域。它被广泛应用于医学图像分析中，用于提取解剖器官或病变等具体任务。然而，医学图像的选择性分割往往受到其有限的成像质量的挑战。本文提出了一种两阶段选择性分割方法。第一阶段是预处理步骤，目的是减少噪声或杂波背景对分割的影响。第二阶段对预处理后的图像进行选择性分割。在第一阶段，我们提出了一种新的图像平滑模型，该模型能有效地降低物体内部的噪声和强度不均匀性，同时保持原始图像的边缘。此外，所提出的模型具有吸引人的数学和物理性质，因为它只有一个最优解。在第二阶段，我们提出了一种改进的痛风活动轮廓法，它可以更高效、准确地获取目标。我们的主要贡献是新的图像平滑模型，它可以有效地衰减复杂背景，同时保持目标的边缘。在真实医学图像上的大量实验表明，我们的平滑模型可以极大地促进第二阶段的实现，并且我们的方法可以在视觉评价和定量评价方面显著地改进现有的一些相关方法。

4.2 论文结构

4.2.1 简介

本文提出了一种新的两阶段方法用于医学图像的选择性分割。我们的主要贡献可以总结如下：

为了方便医学图像的分割，提出了一种新的变分模型，该模型能有效地衰减复杂背景，同时保持目标的边缘。所提出的能量泛函具有吸引人的数学性质，从而允许在希尔伯特空间中有一个唯一解，并且可以用梯度法来求最小值。对Gout模型进行修改，采用更稳定的方法计算图像梯度，并在边缘停止函数中引入比例因子。给出了求解Gout模型的水平集函数的一种新的初始化方法。提出了一种新的两阶段选择性图像分割方法。在第一阶段，使用我们提出的模型对图像进行平滑处理。然后在第二阶段，利用改进的Gout模型对平滑后的图像进行目标边界检测。

4.2.2 相关工作

Gout模型

LMZ模型

该方法的模型

4.2.3 结论

在本文中，我们提出了一种新的两阶段选择性分割方法。在第一阶段，我们提出了一种新的图像平滑变分模型，该模型能很好地保持图像的边缘，滤除噪声和小尺度细节。然后在第二阶段，我们使用改进的Gout模型检测目标边界。我们在真实医学图像上进行了大量的分割实验，该实验涵盖了强噪声、低对比度、细节复杂的物体、小尺寸物体、边界复杂的物体和包含物体等各种难题。实验结果表明，该方法能够有效地去除医学图像中的一些不利因素，其效果明显优于相关的最新的选择性分割方法。

4.3 创新点

1、提出了一种新的两阶段选择性分割方法

2、第一阶段，我们提出了一种新的图像平滑变分模型，该模型能很好地保持图像的边缘，滤除噪声和小尺度细节

3、第二阶段，我们使用改进的Gout模型检测目标边界。

总结

本周学习了图像检索相关的图像处理知识，了解了传统的图像检索的做法以及深度学习上图像检索以及加速的方式。学习了甲状腺的基础知识，以及在做超声是对甲状腺的评分规则，可以根据甲状腺结节的钙化，边界，形状等指标进行评分，评分之后再做进一步的判断，看是否需要随访或者活检穿刺等。还研读了一篇论文，关于一种选择性分割的变分方法。现有的图像分割方法可以分为两类:语义分割和选择性分割，语义图像分割的目的是将图像域分割成不相连的子区域，每个子区域对应一个语义有意义的对象。与语义分割不同，选择性分割的目的是将图像中某一子集的对象或感兴趣区域(ROI)从其他对象中分离出来。选择性分割广泛应用于医学图像分析中，用于提取解剖器官或病变等特定任务。此篇文章提出了一种新的变分模型，该模型能有效地衰减复杂背景，同时保持目标的边缘。所提出的能量泛函具有吸引人的数学性质，从而允许在希尔伯特空间中有一个唯一解，并且可以用梯度法来求最小值。对Gout模型进行修改，采用更稳定的方法计算图像梯度，并在边缘停止函数中引入比例因子。给出了求解Gout模型的水平集函数的一种新的初始化方法。提出了一种新的两阶段选择性图像分割方法。在第一阶段，使用我们提出的模型对图像进行平滑处理。然后在第二阶段，利用改进的Gout模型对平滑后的图像进行目标边界检测，实验的结果可以很好的划分出感兴趣的区域。