连年来深度学习时刻在计议机视觉领域， 非凡是当然图像处理任务上取得了令东说念主注意的逾越， 也让工业界和学术界越来越多的研究者尝试将其应用于医学图像处理领域. 本文恰是在此布景下， 围绕如安在异质性医学图像处理任务中提纯粹度学习算法成果的问题， 从深度学习在医学图像处理的现实应用中如何诈欺多中心的异质性医学数据角度动手， 对揣度领域有代表性或前沿性文件进行归纳总结爱你我就色色你， 先容数据异质性产生的原因偏执渊博存在的场景， 系统概括面前代表性的深度学习步调体系， 如移动学习、域妥当、多站点学习等， 总结深度学习在面向异质性数据医学图像处理任务中的建模机理和应用， 梳理并分析现存步治愈论、关节时刻、优瑕疵和性能， 临了参谋改日构建面向异质性医学图像处理任务深度学习模子所面对的时刻挑战和研究趋势. 本文总体研究结构如图1所示.

Fig. 1 Overview of this paper 图 1 本文概览 1 揣度调研与研究布景 1.1 揣度综述

Cheplygina等东说念主[1]从对医学数据标注采集的袭击性与复杂性动手， 系统先容了移动学习、半监督学习以及多示例学习时刻， 调研了其在医学图像分析领域的研究进展与揣度应用.

日本av女友

Tajbakhsh等东说念主[2]指出了用于医学图像分割的数据在标注过程中产生的不完好标注样本的问题， 并将其分为注意性和渊博的弱监督标注样本的两大类问题: 如用于分类任务的图片级标签、由于分割标注的袭击性与部分医生的申饬不及而产生的噪声标签以及诸如矩形框、线条、病变点位的寥落标签. 针对上述问题， 作家对连年来的揣度研究进行了全面调研.

Choudhary等东说念主[3]从基于深度学习医学图像分析算法的临床应用所面对的问题动手， 也即多元化、多模态、多中心的医学图像数据. 作家先容了域妥当时刻的界说及揣度步调分类， 调研了连年来的面向深度学习的域妥当时刻在医学图像分析领域的最新研究进展.

本文则从深度学习在医学图像分析的现实应用中如何诈欺多中心的异质性医学数据角度动手， 先容数据异质性产生的原因偏执渊博存在的一些场景. 在此基础上对数据异质性带来的揣度问题进行了阵势化界说与分类， 对连年来揣度研究责任进行了调研、对揣度时刻及步调进行了归纳.

1.2 移动学习、域妥当、多站点学习概括 1.2.1 移动学习

领域(domain)和任务(task)是移动学习[4]中的两大基本见识. 其中领域 $ {D}_{T} $ 由数据 $ X $ 偏执对应的概率散播 $ P\left(X\right) $ 组成; 任务则由数据 $ X $ 对应的标签 $ Y $ 及标签的概率散播 ${P}\left({Y}\right|{X})$ 组成. 移动学习通过将一个领域及对应任务的常识应用于另一个相似的领域及任务上， 旨在责罚当监督学习条目下样本数目难以知足模子检会要求的问题.

勾通领域与任务的见识， 移动学习不错被分为: 归纳式移动学习、直推式移动学习和无监督移动学习3种， 具体如表1所示.

Table 1 Transfer learning classification[4] 表 1 移动学习分类[4]

归纳式移动学习是指源任务和计议任务不同的移动学习场景. 阐述源域是否有标注样本， 其又可分为多任务学习和自学习. 多任务学习的计议是同期学习源任务和计议任务， 而自学习则是移动源任务的常识， 以匡助学习计议任务.

直推式移动学习是指源任务和计议任务调换， 但源域和计议域不同的移动学习场景. 在此场景下， 源域的样本一定有标注信息， 而计议域的样本不一定有标注信息. 直推式移动学习的场景又可被进一步分为: (1) 源域和计议域的特征空间不同的场景; (2) 源域和计议域的特征空间调换， 但对应的边际散播不同的场景. 域妥当即直推式移动学习的第2种场景.

无监督移动学习是指源任务和计议任务均为无监督学习的阵势(如聚类、降维)， 但两者又存在高度揣度性的场景. 在此场景下， 源域和计议域均为无标注的样本. 由于莫得任何可用的标注样本， 无监督移动学习时时无法采纳惯例的深度学习步调.

1.2.2 域妥当

Yosinski等东说念主[5]研究了深度神经荟萃的可解释性与可移动性， 解释了在深度神经荟萃中， 荟萃的浅层可用于索要任务之间共性的普适特征， 而跟着荟萃层数的加深， 荟萃的深层可用于索要与计议任务揣度的语义特征. 同期作家也提议了两种面向深度神经荟萃的移动学习花式: (1) 以源域荟萃浅层权重运逶迤计议域荟萃浅层， 进而以微调的花式对计议域荟萃进行检会; (2) 冻结计议域荟萃浅层权重， 重新检会计议域荟萃. 以上两种花式在检会时均需要带有标注的计议域样本. 而无监督域妥当时刻在模子检会时则不需要任何来自计议域的标注样本， 使其大致参与更为惯例的移动学习场景.

1.2.3 多站点学习

多站点学习和域妥当时刻的最大区别就在于域妥当时刻是为了责罚检会数据和测试数据的散播(边际散播)不同而产生的域漂移景观; 而多站点学习则是为了责罚检会数据里面多个子集间的散播(边际散播)不同而产生的域漂移景观.

1.3 医学图像数据集带来的数据异质性挑战

医学图像的成像花式繁密， 如辐射学、病理学、超声、内窥镜等， 且消亡成像花式下的影像受采集设备互异等因素的影响也会存在很大的(散播)互异， 咱们一般称其为“域漂移”景观. 为了进一步论述这一景观， 本文以临床医学中一些常见的场景为例， 进一步讲明医学图像数据集渊博存在的数据异质性问题， 如图2所示.

Fig. 2 Data heterogeneity of multi-center medical images[3] 图 2 多中心医学图像的数据异质性[3] 1.3.1 “有限监督样本”场景

受时辰、数据质料、专科性要求等方面的影响， 并非通盘的医疗数据都能被充分或正确地标注. 举例: 软组织的MR成像较CT成像分辨率更高， 因此软组织的MR图像数据集相对更容易标注; 但CT的成像速率快， 老本较低， 因此对CT数据进行标注不管是在临床研究照旧在算法研究中也具有很大的道理. 而通过无监督域妥当时刻， 将CT图像域映射到MR图像域上， 就能得到速率快且标注质料高的数据; 此外， 不管是在研究照旧在现实应用过程中关于患者的个东说念主秘密数据进行保护亦然十分必要的， 通过域妥当时刻， 不错合成/生成一些非竟然图像数据， 从而幸免患者个东说念主秘密信息的泄露.

1.3.2 “多中心”场景

不同医疗机组成像设备的不同会导致生成数据存在不同进程的互异， 同期受采集设备、参数设立以及个体病情互异的影响调换型号的设备生成的数据时时也会存在极度大的互异. 举例: 调换模态的MR图像， 由于对应的磁场场强不同、图像分辨率不同(是否加入线圈导致)， 或是患者病情临床分期的不同(由于肿瘤骚扰而使器官鸿沟不明晰、不完整)， 即使口角专科的东说念主员都能很容易地感受到这些不同图像上的互异. 从而使用单一着手的数据检会得来的深度学习模子就很难在其他着手的数据上取得预期的成果. 通过多站点学习和域妥当时刻， 就有可能检会出鲁棒性更强的深度学习模子， 从而在异源数据、非凡是全新着手的数据上达到更好的处理成果.

2 移动学习问题

移动学习的初志是简约东说念主工标注样本的时辰， 让深度学习模子不错通过已有的记号数据(源域)向未记号数据(计议域)移动， 从而检会出适用于计议域的深度学习模子. 移动学习主要分为两大类别: 监督式移动学习以及无监督移动学习， 其中无监督域妥当是一种管理条目愈加严格的移动学习问题， 亦然现时移动学习领域的研究热门[6].

2.1 无监督域妥当问题界说与分类

无监督域妥当问题可阵势化界说为: 给定一个源域 ${S}=\{{X}_{S}， {Y}_{S}\}$ ， 一个计议域 $ T=\left\{{X}_{T}\right\} $ ， 源域和计议域的特征空间调换: $ {X}_{S}={X}_{T} $ ， 标签空间调换: $ {Y}_{S} ={Y}_{T} $ ， 但其边际散播不同: $ P\left({X}_{S}\right)\ne P\left({X}_{T}\right) $ . 域妥当即通过源域S和计议域数据 $ {X}_{T} $ (或计议域T)学习一个映射 $ f $ 以预测计议域的标签 $ {Y}_{T} $ . 阐述源域和计议域样本数目， 以及计议域数据是否可用， 无监督域妥当问题可分为单源域/计议域、多源域/计议域以及领域泛化问题.

2.1.1 单源域、单计议域

常见的监督式机器学习时时假定检会集和测试集知足沉寂同散播的条目， 因此域妥当的计议可视为检会集和测试集的散播不同， 进而单源、单计议的域妥当就不错逶迤为检会集和测试集来自两个不同的散播. 单源域、单计议域四肢域妥当问题最疏忽的场景， 照旧透知道了许多经典的步调， 如JAN (joint adaptation networks)[7]， 域分离模子[8]， MADA (multi-adversarial domain adaptation)[9]等.

2.1.2 多源域、多计议域

由于检会数据也可能存在不同的散播， 单源域、单计议域的域妥当时时并不行很好地责罚现实任务中的域漂移问题. 若是仅疏忽地将来自多个源域的数据混为一体(假定多个源域之间的边际散播调换)， 固然不错将其简化为单源域妥当问题， 但时时情况下并不行达到令东说念主自得的成果. 举例， Ganin等东说念主[10]使用经典的单源域妥当步调: 域对抗荟萃(domain-adversarial neural network， DANN)在手写数字数据集上进行实验， 实验收尾标明仅使用单个源域时手写数字分类的准确率为71.3%， 而使用多个源域， 但仅仅疏忽地将其羼杂时， 分类的准确率降为70.8%. 相同， 在进行模子实地部署时， 应用时时都会遭遇来自不同散播的计议域数据， 从而无法达到预期的成果.

Sun等东说念主[11]对多源域妥当步调进行了正常调研， 对多源域妥当问题进行了界说和分类. 阐述计议域的标注样本数， 将多源域妥当步调分为无监督多源域妥当、半监督多源域妥当、全监督多源域妥当; 阐述多源域之间以及计议域的特征空间是否一致， 将多源域妥当步调分为同质多源域妥当和异质多源域妥当; 阐述多源域和计议域的标签空间是否一致， 将多源域妥当步调分为闭集多源域妥当、开集多源域妥当、部分多源域妥当和通用多源域妥当; 阐述源域的标注样本数， 将多源域妥当步调分为强监督多源域妥当和弱监督多源域妥当.

2.1.3 领域泛化

不管是单计议域妥当照旧多计议域妥当， 由于具有详情的计议域， 时时只需在步调中裁减模子在计议域上的纰缪即可. 而在移动学习的现实场景中， 应用时时无法事先得知计议域数据的散播情况(计议域数据不可用)， 领域泛化则是在此情况下尝试责罚愈加普适的域妥当问题， 即如何从多少个具有不同数据散播的数据集(领域)中学习一个泛化才略更强的模子， 以便在未知测试集上取得较好的成果.

2.2 揣度步调偏执在深度医学图像分析中的应用

本节领先从时刻的角度将对(深度)域妥当的代表性步调进行梳理与归纳， 并对其在医学图像分析中的揣度研究进展进行分析和总结. 在本节中， 咱们将分别先容移动学习揣度步调在深度医学图像分析领域的应用， 具体分为计议域有监督情况下的监督式移动学习以及无监督移动学习中的域妥当.

图3为对移动学习揣度问题及步调的归纳图， 分别从问题和对都花式的视角， 对责罚无监督域妥当问题的五种常见步调进行了归纳. 关于问题的分类在上文已有先容， 在此先容两种类型的对都花式: 隐式(潜在)空间变换、样本空间变换. 其中隐式(潜在)空间变换将通盘域的图像在一个共同的隐式特征空间中对都， 通过隐式特征检会任务模子; 样本空间变换则是将一个域的图像翻译(出动)至另一个域， 使任务模子大致径直应用于通盘域的图像.

Fig. 3 Summary of problems and methods for transfer learning methods 图 3 移动学习揣度问题及步调归纳 2.2.1 计议域有监督: 监督式移动学习

Lenga等东说念主[12]调研了不同合手续学习[13-15]步调在胸部X光分类中域妥当问题的适用性; Ghafoorian等东说念主[16]研究了深度医学图像分析中的监督域妥当问题: (1) 一个新领域需要多大的数据量来妥当原始的模子? (2)在给定数目新领域检会样本的情况下， 需要重新检会哪些预检会模子参数? Shang等东说念主[17]从医学图像分类任务的角度开赴， 研究了两个问题: (1) 哪些数据集是可用的? (2) 如何诈欺这些数据集来提高计议任务的性能? 并以结肠镜窄带图像的结肠息肉良恶性分类为例， 分析了不同模子在不同移动学习检会政策下的发达; Yousefi等东说念主[18]参谋了通过计议检测模子Faster R-CNN学习得到的特征在组织数字病理学图像的细胞核分类任务中的可移动性; Menegola等东说念主[19]研究了移动学习对玄色素瘤自动筛查任务的作用: (1) 移动学习对其是否有匡助性或具有多大匡助? (2) 在移动学习过程中， 一个袖珍但与计议任务高度揣度的医学图像数据集对计议任务的作用大照旧大型但与计议任务不揣度的通用图像数据集(如ImageNet)对计议任务的作用大? (3) 模子微调对计议任务具有多大的影响? Samala等东说念主[20]提议了一种使用多阶段移动学习步调的CNN荟萃， 用于数字乳房断层合成图像(DBT)的肿块良恶性分类任务， 研究了不同移动学习花式和微调有计议的模子性能对检会样本数目的需求.

2.2.2 基于边际散播互异度量的步调

基于边际散播互异度量(distribution discrepancy measurement， DDM)的步调通过最小化源域和计议域的互异， 使得计议域的边际散播大致最大限制地拟合源域的边际散播. 揣度研究常采纳概率散播函数姿色一个就怕变量， 但该步调无法给出高维就怕变量的概率散播函数， 因此不错采纳矩来姿色一个就怕变量， 如一阶中心矩便是均值， 二阶中心矩便是方差. 在深度医学图像分析领域， 面前被正常采纳的是通过统计功令， 即用均值、方差或者高阶矩四肢领域散播间的互异度量准则. 以下为一些常见的度量准则.

● MMD (maximum mean discrepancy， 最大均值互异)

MMD[21]是最常用的散播互异的度量准则， 关于两个域 $ {D}_{S} $ 和 $ {D}_{T} $ ， MMD被界说为:

$ MM{D^2}\left( {{D_S}， {D_T}} \right) = \mathop {\sup }\limits_{{{\left\| \phi \right\|}_H} \leqslant 1} \left\| {E\left[ {\phi \left( {{x^S}} \right)} \right] - E\left[ {\phi \left( {{x^T}} \right)} \right]} \right\|_H^2 $ (1)

其中， ${\phi }$ 为映射函数， 表示原始数据到再生核希尔伯特空间(reproducing kernel Hilbert space， RKHS)的映射. MMD界说了一组在再生核希尔伯特空间中的单元球中的函数， 其本色是在再生核希尔伯特空间中对都源域与计议域的样本均值. 由于在现实计议过程中源域和计议域的竟然散播未知， 是以时时使用申饬猜度近似的步调， MMD的申饬猜度不错表示为:

$ MM{D^2}\left( {{D_S}， {D_T}} \right) = \left\| {\frac{1}{{{n_s}}}\sum\limits_{i = 1}^{{n_s}} \phi \left( {x_i^s} \right) - \frac{1}{{{n_t}}}\sum\limits_{j = 1}^{{n_t}} \phi \left( {x_j^t} \right)} \right\|_H^2 $ (2)

其中， ${{n}}_{{s}}$ 与 ${{n}}_{{t}}$ 分别为源域样本数目和计议域样本数目， $ {\left\| {\cdot} \right\|}_{H}^{2} $ 表示映射函数在再生核希尔伯特空间中的范数.

● CORAL (correlation alignment， 关联对都距离)

以CORAL[22]四肢度量准则的深度域妥当步调通过减小两个领域协方差矩阵的互异来移动常识. CORAL 的界说为:

$ {L}_{\rm CORAL}=\frac{1}{{4d}^{2}}{\left\| {{C}_{S}-{C}_{T}} \right\|}_{F}^{2} $ (3)

其中， $ {\left\| {\cdot} \right\|}_{F}^{2} $ 为矩阵范数的平方， d为特征维度， $ {C}_{S} $ 与 $ {C}_{T} $ 分别为源域以及计议域的协方差矩阵.

● W-Distance (Wasserstein distance， 也称为推土机距离， earth mover’s distance)

除MMD与CORAL外， W-Distance [23]也常被应用于基于边际散播互异度量的深度域妥当步调， W-Distance的界说为:

$ {W_P}\left( {P\left( {{x^s}} \right)， P\left( {{x^t}} \right)} \right) = {\left( {\mathop {{inf}}\limits_{\gamma \in {\varGamma }} \int_{{x_s}\times {x_t}} d \left( {{x^s}， {x^t}} \right)d\gamma \left( {{x^s}， {x^t}} \right)} \right)^{\frac{1}{p}}} $ (4)

其中， Γ是P(xs)和P(xt)通盘可能的结伴散播， d(xs， xt)为xs与xt之间的距离. 与基于MMD和CORAL的步调访佛， 该类步调通过减小领域间的推土机距离来对都领域散播.

Ghifary等东说念主[24]提议的域自妥当神经荟萃(domain adaptive neural networks， DaNN)是首个将MMD度量引入深度神经荟萃中的责任， 其中枢想想是在特征索要器之后加入一个用于计议源域和计议域距离的MMD适配层， 并将其四肢牺牲函数的一部分进行检会. Tzeng等东说念主[25]基于DaNN提议了一种新的CNN架构， 大致同期妥当计议无标注以及计议域寥落标注两种情况. 与DaNN不同的是， DDC将图像特征索要器更换为在ImageNet数据集上预检会的AlexNet. Long等东说念主 [26]在提议的深度适配荟萃(deep adaptation network， DAN)模子中加入了多个域妥当层， 此外， DAN将以往的单核MMD度量改为表征才略更强的多核MMD度量(multi-kernel MMD， MK-MMD)[27]， 并将多核MMD的参数四肢可学习的参数加入模子的检会. Sun等东说念主[28]将CORAL率先适配于深度域妥当. 图4为DAN的模子结构图.

Fig. 4 The Deep Adaptation Network(DAN)architecture [26] 图 4 深度适配荟萃(DAN)模子结构默示图[26]

Bermúdez-Chacón等东说念主[29]遐想了一种面向电子显微镜图像的小鼠大脑分割模子: 域妥当性双流U-Net模子DA TS U-Net (domain-adaptive two-stream U-Net)， 该模子中源域和计议域的解码器部分参数分享， 同期牺牲函数中加入了MMD距离与CORAL距离四肢对特征的正则化管理项， 并通过度量源域和计议域最毕生成的特征图的散播互异， 以保留相似的特征. 图5为该模子结构默示图， 其中 $ {X}_{i}^{s}、{X}_{i}^{t} $ 分别表示源域和计议域的第 $ i $ 个样本; ${f}^{s}({X}_{i}^{s}|{\theta }^{s})$ 、 ${f}^{t}({X}_{i}^{t}|{\theta }^{t})$ 分别表示特征索要器索要得到的 $ {X}_{i}^{s}、{X}_{i}^{t} $ 的特征; $ {r}^{\mathit{MMD}}({f}^{s}， {f}^{t}) $ 表示计议源域和计议域特征的MMD距离.

Fig. 5 Simplified representation of domain-adaptive two-stream U-Net[29] 图 5 域妥当性双流U-Net模子结构的简化表示[29]

Wang等东说念主[30] 在域妥当光学相关断层扫描模子DAOCT (domain adaptation OCT)中引入了推土机距离来度量多站点眼部光学相关层图像的散播互异， 以对都域间特征. 作家提议的模子中包含一个域判别器， 会导致基于对抗学习的步调在检会时不瓦解， 而推土机距离则不错在一定进程上幸免梯度隐没的问题， 从而瓦解检会过程. 图6为该模子结构默示图.

Fig. 6 Architecture of DAOCT[30] 图 6 DAOCT模子结构默示图[30]

Pichler等东说念主[31]觉得面前的域妥当步调大都基于对抗学习， 难以检会， 且用于医学图像分割任务时发达欠安， 因此提议了不受限于源域的域妥当模子SR DA Net (source-relaxed domain adaptation net). 该模子将分割损成仇用于度量域间互异的KL散度整合为一个牺牲函数， 从而极大简化了无监督域妥当的检会设施. Bateson等东说念主[32]提议了一种在域妥当阶段无需源域样本、仅需计议域样本的步调: 基于最小化计议域数据上界说的无标签交叉熵牺牲， 进一步迷惑分割区域的域无关先验， 其中域无关先验由通过KL散度度量源域和计议域分割模子的预测标签的类别比所界说， 图7为该模子结构默示图.

Fig. 7 Overview of framework for Source-Relaxed Domain Adaptation[32] 图 7 不受限于源域的域妥当模子结构默示图[32]

Wu等东说念主[33]提议名为特征映射距离(distance of characteristic functions， CF)的域间互异度量准则: 将数据通过傅立叶变换映射至频域空间， 由于图像中的高频信号容易被忽略， 因此通过最小化领域间的低频信号以减小领域间互异， 该距离大致高效地应用于跨模态(CT⟶MRI)的腹黑图像分割任务. 图8为该模子结构默示图， 该模子由图像编码模块、分割模块、重构模块、先验散播匹配模块以及显式域妥当模块组成， 其中图像编码模块用于索要源域图像和计议域图像的隐式特征 $ {{\textit{z}}}_{S}， {{\textit{z}}}_{T} $ ， 其输入为源域图像 $ {x}_{S} $ 和计议域图像 $ {x}_{T} $ ， 分割模块用于输出源域图像的分割收尾， 重构模块用于计议域图像重构， 显式域妥当模块通过计议 $ {{\textit{z}}}_{S} $ 和 $ {{\textit{z}}}_{T} $ 的互异 ${\mathcal{L}}_{\rm explicit}$ 度量域间互异， 先验散播匹配模块用于管理源域特征 $ \;\mu $ 和计议域特征 $ {\Sigma } $ 使其恒久恪守高斯散播.

Fig. 8 Framework of the CF distance based domain adaptation method[33] 图 8 基于特征映射距离的模子结构默示图[33]

基于边际散播互异度量的步调以最小化统计度量为管理， 将数据从样本空间变换到特征空间， 使两组边际散播不同的数据在特征空间中的距离最小化. 咱们不错看到， 上述研究以源域和计议域之间的散播距离四肢牺牲函数， 构建深度神经荟萃来索要域无关的特征. 该步调照旧达到了瓶颈期. 从索要域无关的特征来看， 基于对抗学习的步调具有更大的发展出路. 是因为用于度量域间散播互异的距离函数很难遐想， 上述责任除研究[33]外均采纳的均为经典的距离函数， 而基于对抗学习的步调无需东说念主为遐想复杂的距离， 在检会时主动学习两个域的对都尺度.

2.2.3 基于对抗学习的步调

基于对抗学习的域妥当步调将生成对抗荟萃(generative adversarial networks， GANs)[34]的想想引入到域妥当问题当中. 该步调的中枢为在模子检会过程中， 通过特征索要与域判别器的博弈来完成由源域到计议域的对都. 具体来说， 域判别器学习区分源域特征与计议域特征的才略， 最小化域判别器的分类牺牲; 而特征索要部分学习具有领域共性的特征来欺凌领域判别器， 最大化域判别器的分类牺牲. 通过对抗检会得到的深度模子不错索要出既具有类别区分性又具有领域不变性的特征表示. Ganin等东说念主[35]领先将对抗学习应用到域妥当问题当中， 提议领域对抗神经荟萃(domain-adversarial neural network， DANN)， 其模子结构如图9所示.

Fig. 9 Architecture of Domain-Adversarial Neural Network(DANN)[35] 图 9 DANN模子结构默示图[35]

域判别器的优化计议是最小化域判别器的分类牺牲， 而特征索要部分的优化计议是最大化领域判别器的分类牺牲. 为了在检会过程中同期达到优化两个天悬地隔的计议函数的成果， Ganin 等东说念主[35]提议了梯度回转层(gradient reversal layer， GRL)， 其作用是当域判别器的分类牺牲的梯度反向传播经过判别器之后， 对梯度取反， 然后将其反向传播到特征索要器. DANN 的计议函数不错表示为:

$ \begin{array}{l} E\left( {{\theta _f}， {\theta _y}， {\theta _d}} \right) = \displaystyle\sum\limits_{i = 1 \ldots N\atop \scriptstyle{d_i} = 0} {{L_y}\left( {{G_y}\left( {{G_f}\left( {{x_i};{\theta _f}} \right);{\theta _y}} \right)， {y_i}} \right) - \lambda \displaystyle\sum\limits_{i = 1 \ldots N} {{L_d}\left( {{G_d}\left( {{G_f}\left( {{x_i};{\theta _f}} \right);{\theta _d}} \right)， {y_i}} \right)} } = \displaystyle\sum\limits_{i = 1 \ldots N\atop \scriptstyle{d_i} = 0} {L_y^{i}} \left( {{\theta _f}， {\theta _y}} \right) - \lambda \displaystyle\sum\limits_{i = 1 \ldots N} {L_d^i} \left( {{\theta _f}， {\theta _d}} \right) \end{array} $ (5)

其中， θf、θy、θd分别为特征索要器、分类器与领域判别器的参数; Gf、Gy、Gd分别为特征索要器、分类器与领域判别器; ns、nt分别为源域样本与计议域样本的数目; yi、di分别代表着类别标签与领域标签， λ为权重所有.

Javanmardi等东说念主[36]将DANN适配于医学图像分割任务， 用于多中心眼底血管分割， 图10为该步调的过程图， 其中 $ ({X}_{s}， {Y}_{s}) $ 表示源域数据偏执对应的标签， $ {X}_{t} $ 表示计议域数据， $ U(\cdot) $ 表示分割模子.

Fig. 10 DANN method flow in fundus image retinal vessel segmentation[36] 图 10 用于眼底图像的视网膜血管分割的DANN步调过程图[36]

Yi等东说念主[37]遐想了一种面向电子显微镜图像的深度域妥当步调: 对抗性预测迷惑的多任务妥当模子APMA-Net (adversarial-prediction guided multi-task adaptation net)用于海马体的语义分割. 该模子的分割子分支引入了多个基于DANN的领域判别器， 分别用于源域和计议域数据的边际散播于条目散播对都， 图11为该模子结构默示图.

Fig. 11 The architecture of adversarial-prediction guided multi-task adaptation net(APMA-Net)[37] 图 11 对抗性预测迷惑的多任务妥当模子结构默示图[37]

Yang等东说念主[38]则将DANN的想想应用于光学相关层图像(optical coherence tomography， OCT)的眼部病变计议检测任务， 该步调中DANN进一步分为面向候选框区域的局部特征对都以及通盘这个词图像的全局特征对都. 图12为该模子结构默示图， 其中RPN为候选区域索要荟萃， E1和E2分别表示全局图像特征索要器和局部图像特征索要器， D1和D2分别表示全局图像域判别器和局部图像域判别器， GRL表示梯度回转层.

Fig. 12 Overview of domain adaptative network for OCT lesion detection[38] 图 12 用于OCT图像的病灶计议检测模子结构默示图[38]

Zhang等东说念主[39]相同基于DANN开展研究责任， 提议了数据集不变性对抗性模子DIA Net (dataset invariant adversarial net)， 是首个收场腹黑磁共振图像的基底部/中部/尖部切片的全自动检测和位置总结的跨站点数据域妥当步调; 图13(a)为该模子结构默示图， 该步调实足采纳了DANN的想想; 图13(b)为将该模子用于腹黑MR多视角输入通说念的双心室隐讳猜度任务的过程默示图， 其中每一个通说念都包括3个卷积层、3个最大池化层以及两个全通顺层， 标注为双划线虚线框的为无关性分支， 包含两个全通顺层， 对应于DANN中的域判别器部分.

Fig. 13 a: Schematic of dataset invariant adversarial network; b: System overview of dataset invariant adversarial model with multi-view input channels for bi-ventricular coverage estimation in cardiac MRI[39] 图 13 数据集不变性的对抗性模子纲目遐想及翔实遐想[39]

Chen等东说念主[40]觉得现存的对抗学习步调均为单向的域妥当， 即生成的特征空间只受到其中一个域的圆寂， 而丢失了另一个域的特征空间会导致两个域的特征空间缩小. 此外， 由于仅使用标注样本检会任务模子， 而无标注的计议域样本仅用于生成基于对抗学习的有记号样本的域妥当空间， 会导致任务模子的域妥当特征实足依赖于源域的标注样本. 基于上述情况， Chen等东说念主提议了双向域妥当步调， 同期还在领域判别器后引入特征图重建模块， 图14为该模子中双向域妥当的过程， 其中 $ {L}_{x} $ 表示有标注的数据， $ {U}_{x} $ 表示无标注的数据， F表示由任务模子径直得到的特征域， $ {F'} $ 表示通过任务模子将F映射到预测标签域.

Fig. 14 Indirect double-sided domain adaptation[40] 图 14 非径直的双向域妥当过程默示图[40]

Zhang等东说念主[41]提议了深度显微镜妥当模子DMA Net (deep microscopy adaptation net). 该模子在DANN的基础上加入了用于度量类内域间互异的交叉熵牺牲函数， 以及改善类别抵拒衡、分类难度互异问题的focal loss， 将在数字病理图像数据检会的结肠息肉分类模子适配于无标注的显微镜图像数据上. 此外， 该模子的特征索要部分采纳轻量级卷积神经荟萃MobileNetV2以知足低功耗和高推理速率的现实需求. 图15为该模子结构默示图.

Fig. 15 The scheme of Deep Microscopy Adaptation Network[41] 图 15 深度显微镜图像妥当性模子结构默示图[41]

Varsavsky等东说念主[42]提议了测试时无监督域妥当模子TTUDA (test time unsupervised domain adaptation) Net， 在3个参数分享的子分割模子(分别用于源域、计议域以及数据增广操作后的计议域数据的分割模子)中引入域判别器， 并加入一致性牺牲函数使模子大致索要到域无关的计议域特征. 图16为该模子结构默示图: 3个子分割模子参数分享， 每一个深度的特征图经过双线性插值以及拼接操作后输入域判别器模块， 成对一致性牺牲函数 $ {\mathcal{L}}_{pc} $ 用于最小化计议域图像经分割模子预测得到的标签 $ {y}_{T} $ 和数据增广操作后的计议域数据经分割模子预测得到的标签 ${y}_{T}^{\rm aug}$ .

Fig. 16 Framework of test time unsupervised domain adaptation[42] 图 16 测试时无监督域妥当模子结构默示图[42]

Liu等东说念主[43]提议了一种无监督的显微镜图像实例分割步调: 全景级域妥当Mask R-CNN模子PDAM (panoptic domain adaptative mask R-CNN)， 通过整合语义级和实例级特征适配， 在全景级对跨域特征进行对都， 并遐想了一种任务重权机制来为检测和分割牺牲函数分拨权值. 图17为该模子结构默示图， 该模子的输入为由CycleGAN合成的类计议域的源域图像以及竟然的计议域图像组成. 由于合成图像存在生成额外细胞核的情况， 因此作家在图像插足模子前， 采纳了Ostu等东说念主[44]遐想的扶持图像修补机制: 使用一种阈值聘用算法为出路和布景的二值语义分割设定阈值， 再移除极端细胞核[45]， 即用未标注的像素替换已标注的极端像素.

Fig. 17 Detailed illustration of Panoptic Domain Adaptative Mask R-CNN(PDAM)[43] 图 17 全景级域妥当Mask R-CNN模子结构默示图[43]

Shao等东说念主[46]提议了一种面上前线腺癌(prostate cancer， PCa)分类的3东说念主零和博弈模子TPMG (three-player minimax game)， 有用地缓解了多中心经直肠外超声图像的数据异质性问题， 提高了分类性能. 图18为该模子结构默示图.

Fig. 18 Three-player minimax game framework[46] 图 18 3东说念主零和游戏模子结构默示图[46]

图18中3个子模块共同完成对抗性检会. 编码器E将RF切片映射为表示 $ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $ ， 其计议是收场一个最优编码器 $ {E}^{*} $ ， 其输出为 $ {{\textit{z}}}^{*} $ ， 知足公式(6)和公式(7).

$ H\left(y\right|{{\textit{z}}}^{*})=H(y\left|x\right) $ (6) $ H\left(s\right|{{\textit{z}}}^{*}， p\left(y\right|x\left)\right)=H\left(s\right|p\left(y\right|x\left)\right) $ (7)

公式(6)标明最优编码表示 $ \textit{z}^{*} $ 大致有用地从原始输入的RF切片x中索要通盘与PCa揣度的信息， 但维度显贵裁减(与256×256输入切片比较， 维度仅为1000的向量); 公式(7)标明最优编码表示 $ {{\textit{z}}}^{*} $ 不包含任何与域揣度的信息， 只包含条目标签散播p(y|x)中照旧包含的信息， 标明域之间的异质性已得到有用缓解. 标签预测器F将编码表示 $ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $ 映射为 $\tilde y \in {\Omega \tilde y} $ ， 其计议是收场一个最优的预测器 $ {F}^{*} $ ， 输出 $ {y}^{*} $ = $ {F}^{*} $ ( $ {{\textit{z}}}^{*} $ )， 知足公式(8). 公式(8)标明通过使用最优编码器 $ {E}^{*} $ 的输出 $ {{\textit{z}}}^{*} $ 四肢输入， 最优预测器 $ {F}^{*} $ 大致准确地预测原始输入 $ RF $ 切片 $ x $ 的竟然标签. 域判别器D将编码表示 $ {\textit{z}}\in {\mathrm{\Omega }}_{{\textit{z}}} $ 和猜度的域散播 $ p_{\tilde{y}}(\cdot | {\textit{z}}) $ 映射为猜度的域 $ s\in {\mathrm{\Omega }}_{s} $ ， 其计议是收场输出 $ {s}^{*} $ 的最优的 $ {D}^{*} $ ， 知足公式(9). 公式(9)标明通过使用最优编码器和标签预测器的输出， 最优域判别器 $ {D}^{*} $ 大致有用地索要包含在原始RF切片x中的域揣度信息.

$ H\left(\tilde{y} \mid \textit{z}^* \right)=H(y \mid x) $ (8) $ H\left(s^{*} \mid {\textit{z}}^{*}， p\left(\tilde{y}^{*} \mid x\right)\right)=H\left(s \mid x{， } p(y \mid x)\right) $ (9)

在DANN中， 由于参数分享， 特征索要部分不行索要源域和计议域的域专属信息. 为杰出到分属于源域和计议域的域专属信息， 对抗判别域妥当(adversarial discriminative domain adaptation， ADDA)[47]采纳模子参数不分享的花式， 即源域特征和计议域特征沉寂索要， 源域和计议域的荟萃结构调换， 计议域模子参数使用源域预检会模子的参数运逶迤. 与DANN比较， ADDA由于参数不分享， 特征索要部分大致更好地索要到域专属特征. ADDA以迭代的花式最小化以下公式(10)–(12)来最小化源域特征与计议域特征之间的距离， 其中M表示特征索要模块， C表示分类器， D表示域判别器.

$ \underset{{M}_{s}， C}{{\min}}{\mathcal{L}}_{\rm cls}({\mathit{X}}_{\mathit{s}}， {Y}_{s})=-{\mathit{E}}_{({\mathit{x}}_{\mathit{s}}， {y}_{s})~({\mathit{X}}_{\mathit{s}}， {Y}_{s})}\sum _{k=1}^{K}{\mathit{I}}_{\left[k={y}_{s}\right]}{\log}C\left({M}_{s}\right({\mathit{x}}_{\mathit{s}}\left)\right) $ (10) $ \underset{D}{{\min}}{\mathcal{L}}_{{\rm adv}_{D}}({{X}}_{{s}}， {{{X}}_{{t}}， {M}_{s}， M}_{t})=-{{E}}_{{{x}}_{{s}}~{{X}}_{{s}}}\left[{\log}C\left({M}_{s}\right({{x}}_{{s}}\left)\right)\right]-{{E}}_{{{x}}_{{t}}~{{X}}_{{t}}}\left[{\log}(1-D({M}_{t}\left({{x}}_{{t}}\right)\left)\right)\right] $ (11) $ \underset{{M}_{t}}{{\min}}{\mathcal{L}}_{{\rm adv}_{M}}({{X}}_{{s}}， {{X}}_{{t}}， D)=-{{E}}_{{{x}}_{{t}}~{{X}}_{{t}}}\left[{\log}(1-D({M}_{t}\left({{x}}_{{t}}\right)\left)\right)\right] $ (12)

图19为ADDA步调的基本过程.

Fig. 19 Overview of ADDA approach[47] 图 19 由ADDA步调收场域妥当的设施[47]

Zhu等东说念主[48]将ADDA步调加以适配并应用于前线腺磁共振图像分割任务， 提议了鸿沟加权域妥当模子BOWDA-Net (boundary-weighted domain adaptative net). 图20为该步调的模子结构默示图， 模子由源域样天职割子模块、计议域样天职割子模块和领域判别器3个主要模块组成.

Fig. 20 Overview of Boundary-weighted domain adaptative neural network(BOWDA-Net)[48] 图 20 鸿沟加权域妥当模子结构默示图[48]

此外， 由于传统的图像分割计议牺牲函数是面向通盘这个词分割(出路)区域遐想的， 而准确勾画出器官的鸿沟是十分有临床道理的. 因此作家在计议函数中加入了用于管理位置、阵势以及标签连气儿性的距离牺牲函数如公式(13)， 使模子深爱对鸿沟的分割.

$ {L}_{\rm dist}=\beta \sum _{p\in B}\hat{y}\left(p\right){M}_{\rm dist}\left(p\right) $ (13)

其中， $\hat{y}$ 为分割收尾， p为包含分割收尾鸿沟像素点的点集B中的一个点， $ {M}_{\rm dist}\left(p\right) $ 为ground truth标签中由鸿沟得到距离变换构造的距离函数， $\;\beta$ 为加权所有.

Figueira等东说念主[49]使用ADDA在跨模态影像(CT⟶MRI)上对腹部肿瘤进行分类. 图21为该模子中域妥当的设施， 模子的特征编码器部分使用在ImageNet上预检会的ResNet50， 源域图像检会阶段、域妥当阶段以及计议域图像预测阶段均使用2个全通顺层， 分别四肢源域图像的分类器、领域判别器和计议域图像分类器.

Fig. 21 Proposed adversarial-based domain for tumor detection[49] 图 21 基于对抗学习的域妥当步调用于肿瘤检测[49]

Shen等东说念主[50]研究了多中心眼底图像质料分类任务， 提议了一种半固定ADDA步调: 模子中特征索要器的深层参数分享， 图22为自动眼底图像质料评估的总体模子默示图， 该模子由标志定位模块、域妥当模块、图像质料分类模块以及视觉反映模块组成.

Fig. 22 The framework of the proposed automatic fundus image quality assessment system[50] 图 22 自动眼底质料评估模子总体默示图[50]

图23为该模子域妥当模块的过程图， 不错分为3个设施: (1) 通过源域数据检会(通过监督学习的花式)得到图像的编码器和分类器; (2) 通过对都源域和计议域的边际散播， 以对抗学习的花式检会得到计议域图像的特征编码器， 需要注重的是， 在本设施中模子高层的权重是冻结现象， 仅低层权重是可检会的; (3) 在推理阶段， 测试图像通过计议域编码器映射.

Fig. 23 Overview of the domain adaptation module in the IQA framework[50] 图 23 自动眼底质料评估模子的域妥当模块结构默示图[50]

Ren等东说念主[51]研究基于了ADDA的域妥当步调， 固然计议域数据无标注， 但从数字病理图像编著得到的切片(patch)仍然不错由计议域荟萃预测得到调换的标签. 尽管基于对抗学习的牺牲函数迫使2个域的散播相似， 但并不行管理计议域荟萃来详情输入切片的相似性. 因此作家为计议域数据引入了孪生荟萃结构， 以对来自消亡张数字病例图像的切片进行正则化， 使其具有调换的标签. 图24为该模子结构默示图.

Fig. 24 The architecture of the unsupervised domain adaptation for prostate WSI classification[51] 图 24 用于前线腺数字病理学图像分类的无监督与妥当模子结构默示图[51]

Liu等东说念主[52]提议了一种眼底图像的视网膜血管分割无监督域自妥当步调: 协同特搜集成妥当模子CFEA(collaborative feature ensembling adaptation)， 在分割模子的中间层和输出层分别引入领域判别器. 图25为该模子结构默示图， 主要分为3个子模子: 上部竖线条纹布景块秀雅的为源域子模子 (student network， SN)， 中部左斜线条纹布景块秀雅的为计议域学生子模子 (target student network， TSN) 以及下部横线条纹布景块秀雅的为计议域进修子模子 (target teacher network， TTN). SN和TSN分别对应于源域样本的监督学习和计议域样本的对抗判别学习. 此外， 该步调使SN和TSN分享从源域和计议域样本中次序学习到的权值. 有记号的样本使荟萃大致学习准确的分割预测， 而无记号的样本带来无监督学习， 四肢一种扰动来正则化检会[53]的模子.

Fig. 25 Overview of collaborative feature ensembleing adaptation(CFEA)model[52] 图 25 协同特搜集成妥当模子结构默示图[52]

Dong等东说念主[54]觉得样本的标签是域无关的， 并基于此主义提议了一种类GAN的无监督域自妥当自动猜度心怀比率模子UDAAECR (unsupervised domain adaptation for automatic estimation of cardiothoracic ratio): 生成器部分为分割模子， 判别器用于判别现时样本为分割模子的预测收尾照旧竟然标签， 通过如上的对抗学习设立使模子学习域无关的特征. 图26为该模子结构默示图.

Fig. 26 The architecture of unsupervised domain adaptation for automatic estimation of cardiothoracic ratio[54] 图 26 无监督域自妥当自动猜度心怀比率模子结构默示图[54]

Xue等东说念主[55]觉得疏忽地进行对抗学习去对都源域和计议域是不充分的， 常会出现模子预测收尾与金尺度差距较大， 为了改善这种情况， 提议了双任务自监督模子DTSS Net (dual-task self-supervision network)， 该模子引入了额外的边际分割监督的分支. 图27为该模子结构默示图.

Fig. 27 The architecture of dual-task self-supervision for cross-modality domain adaptation[55] 图 27 跨模态域妥当的双任务自监督模子结构默示图[55]

阐述对抗花式的不同， 基于对抗学习的步调不错分为单对抗域妥当和多对抗域妥当. 其中， 单对抗步调是指模子中唯唯独个用于对都源域和计议域边际散播的领域判别器; 而多对抗步调例是指使用多个领域判别器， 不仅大致对都领域间的边际散播， 还引入了样本的类别信息来对都领域间的条目概率散播. 通过关于现存责任的调研， 咱们不错看到的是， 当今的研究责任无一例外均采纳了单对抗的步调， 咱们觉得这可能和大部分医学图像分析的任务性质揣度， 因为大多数医学图像分析均为二值的图像分类或者图像的语义分割， 不同于当然图像， 其包含的类别信息较为疏忽.

2.2.4 基于重构的步调

基于重构的步调是指使用深度自编码器索要具有可移动性特征的步调. 深度自编码(auto-encoder， AE) [56]是收场重构的基本荟萃结构， 是一种不错用来扼制信息牺牲的无监督学习步调， 由前馈神经荟萃组成， 包括样本特征编码妥协码两个过程. 深度自编码器领先将输入映射为编码， 最终将已编码的特征重构为输入， 深度自编码器的标签便是其输入的数据. 通过最小化信息牺牲来重构输入， 以保证经过模子编码后的特征最大限制地保合手输入数据原有的特质. 基于重构的域妥当步调的优点便是大致保证移动过程中最大限制地保留原始数据所含有的信息. 图28为深度自编码器的基本结构.

Fig. 28 Architecture of Auto-Encoder(AE) 图 28 深度自编码器的基本结构

在深度自编码器中， 域妥当通过寻找领域不变性信息进行常识移动， 模子将输入编码为域不变性特征的过程会丢失部分域专属信息， 而该信息可能故意于任务， 因此需要使用重构扼制信息牺牲. 文件[57， 58]使用源域和计议域的通盘样本来检会自编码器， 然后在源域编码上检会分类模子， 并将分类模子径直应用在计议域上.

Cheng等东说念主[59]将变分自编码器(variational auto-encoder， VAE)用于跨模态(MRI⟶CT)无监督域妥当场景下的三维腹黑图像分割任务中， 其中源域和计议域专属的编码器妥协码器同期用于源域和计议域图像的特征索要与重构. 图29为该模子结构默示图.

Fig. 29 Architecture of the data efficient unsupervised domain adaptation[59] 图 29 数据高效无监督域妥当模子结构默示图[59]

Yi等东说念主[37]引入图像重构分支， 用于学习计议域图像的领域专属特征. 图11为该模子结构默示图， 该模子包括分割模子主分支、图像重构分支、基于特征图的域判别分支以及基于标签的域判别分支. 其平分割模子和图像重构模子分享编码器部分.

He等东说念主[60]的研究基于极端检测任务中的一个中枢假定[61]: 极端输入的重构纰缪弘大于正常输入， 因此将源域视为正常输入， 将计议域视为极端输入， 使用全卷积自编码器[62]度量源域和计议域的对都进程. 图30所示为在检会和测试下设立的模子结构图， 其中 $ {x}_{s} $ 表示源域数据， $ {y}_{s} $ 表示源域数据对应的标签， $ {x}_{t} $ 表示计议域数据， $ {y}_{t} $ 表示模子对计议域数据的预测标签.

Fig. 30 Architecture of self domain adapted network in training and testing phase[60] 图 30 在检会和测试分别设立下的自域妥当模子结构默示图[60]

基于重构的步调大致保证移动过程中数据的原有信息被破裂， 自编码器通过最小化信息牺牲对输入数据进行重构， 以保证编码后数据保合手原有的特质. 文件[59，60]通过重构扼制领域专属信息的牺牲， 以裁减计议域的泛化纰缪， 其中语件[59]对输入进行两次编码， 对应地重构过程也分为两次: 二次编码重构回一次编码， 再由一次编码重构回输入， 该步调与单次重构比较， 大致增强编码的表示才略. 文件[37]则使用重构解耦特征， 将域专属信息与域无关信息分离.

2.2.5 基于数据增广的步调

域妥当将在源域中学到的常识移动到计议域， 领域泛化则要求模子只在具有不同散播的源域数据上进行检会， 以提高模子泛化才略来适用于任何未知的计议域. 不管是学习源域特征到计议域特征的映射、寻找域不变性特征的域妥当步调， 照旧增强特征泛化才略的领域泛化步调， 尽管不错在一定进程上缓解多中心数据的异质性带来的影响， 但是仍远无法达到监督学习步调取得的成果.

关于域妥当来说， 基于数据增广的步调是指先使用有标签的源域样本以及无标签的计议域样本合成带标签的计议域样本， 再使用合成样本检会计议域荟萃的步调; 关于领域泛化来说， 基于数据增广的步调是指使用源域样本合成弥散丰富的检会样本以供模子进行检会. 基于数据增广的步调不错产生近乎无穷的样本以供下流任务模子进行检会. 此外， 该步调较其他步调有着更好的可解释性， 仅需在视觉上判断合成样本与竟然样本之间的互异就大致大约判断样本是否知足检会的需求， 使现时步调大致学习到较好的从源域到计议域的映射或者对源域较好的变换. 而其他的域妥当步妥协领域泛化步调只可盘曲不雅测模子在计议域的性能发达大约推测该步调的移动成果， 以及是否具备弥散的泛化才略.

最常见的深度生成模子便是生成对抗荟萃GAN[34]. GAN包括生成器和判别器两大部分. 其中生成器用于样本生成， 判别器用于辨别输入的样本是竟然样本照旧生成样本. GAN 的检会过程便是生成器与判别器之间相互博弈的过程. 当判别器不行区分竟然样本与生成样本时， 讲明生成器具备合成贴近竟然样本的才略. 在GAN中， 生成器的输入是杂音， 而输出则是合成图像. 由于GAN无法生成对应合成样本的标签， 是以仅使用 GAN 并不行完成计议域揣度的任务. 基于数据增广的步调的中枢在于开导源域样本与合成样本之间的关系， 并基于此关系由源域样本的标签给出合成样本的标签. 针对域妥当问题， 面前主要采纳基于图像翻译模子的步调. 图像翻译常见于当然图像的视觉任务如作风移动， 是指模子输入源域图像， 输出贴近计议域散播的合成图像.

Mahmood等东说念主[63]将竟然的医学影像以基于GAN的步调翻译为合成面孔的医学影像， 摒除了病东说念主个体间的互异性. 图31为该步调过程图， 竟然数据通过出动器模块被出动为具有合成数据作风的竟然数据， 判别器则用于区分现时样本是合成数据照旧具有合成数据作风的竟然数据.

Fig. 31 Proposed unsupervised reverse domain adaptation in adversarial training setup[63] 图 31 对抗性检会设立下的无监督反向域妥当步调过程图[63]

Yang等东说念主[64]以GAN为基础， 提议了一种仅需一个计议域样本的在线域妥当模子. 图32为该模子结构默示图， 该模子的输入为不可见的计议域样本语料库的某张测试图像， 生成子模子生成外不雅判别器( ${D}_{\rm app}$ )无法分辨的、图像散播来自源域图像语料库的伪造图像. 随后分割子模子通过伪造图像生成伪造的计议结构， 伪造的计议结构的生成原则便是欺凌结构判别器( ${D}_{\rm struct}$ )使其不行分辨其到底是伪造样本照旧竟然样本.

Fig. 32 Schematic view of generalizing deep model for ultrasound image segmentation[64] 图 32 面向超声图像分割的深度泛化模子结构默示图[64]

Yu等东说念主[65]提议了样本妥当性生成对抗模子SA GAN (sample-adaptative GAN)， 该模子相同以图像翻译的基准模子GAN四肢主分支模子， 此外还在生成器的中间层引出了样本自妥当模子: 通过学习每个样本对与其相邻检会样本对的关系， 并诈欺这些检会样本的计议模态特征四肢扶持信息扶持生成模子的检会， 而不仅是将检会样本对的计议模态图像用于牺牲函数的计议. 图33为该模子结构默示图.

Fig. 33 Framework of the sample-adaptative GANs[65] 图 33 样本妥当性生成对抗模子结构默示图[65]

由于图像翻译模子时时要求检会数据为样本对， 而面向域妥当问题的数据集或者说一般的监督学习的数据集是不包含样本对的， 是以将图像翻译步调适配于域妥当问题时， 常会引入一些管理如对偶学习[66]来保证模子输入输出的类别标签一致性. 在医学图像的域妥当问题中， 大部分研究责任以CycleGAN[67]为基础. CycleGAN推敲到使用原始的GAN步调进行图像翻译: 关于两个领域X、Y的图像， 界说一个映射 $ G: X\to Y $ ， 也即 $ \hat{y}=G\left(x\right) $ ， 并通过对抗检会将 $ y $ 和 $\hat{y}$ 区分开来， 最优的 $ G $ 产生的 $ \hat{Y} $ 表面上将会和Y同散播. 由于领域间的样本并未配对， 因此无法详情一个唯一的映射关系. 受pix2pix 想想[68]以及轮回一致性监督学习想想[69]启发， Zhu等东说念主[67]提议了双射映射的生成对抗模子CycleGAN. 图34为CycleGAN的模子结构及双向轮回分别迭代的设施， 其中 $ {y}_{{b}_{1}}\ldots {y}_{{b}_{K}} $ 表示源域数据x的K个最隔邻数据所对应的计议模态数据， $ {f}_{X}^{c} $ 表示由特征索要器 $ {G}_{c} $ 得到的特征， $ {f}_{X}^{s} $ 表示由特征团聚设施得到的特征.

Fig. 34 CycleGAN outline and dual-way cycle iteration steps respectively[67] 图 34 CycleGAN模子纲目遐想及双向轮回分别迭代的设施[67]

图34(a) CycleGAN包含两个映射函数 $ G: X\to Y $ 和 $ F: Y\to X $ ， 以及对抗性判别器 $ {D}_{Y} $ 和 $ {D}_{X} $ . $ {D}_{Y} $ 促使G将X域的数据翻译为合适Y域散播的数据， 直到 $ {D}_{Y} $ 无法区分现时数据是由X域生成的数据照旧竟然的Y域数据; $ {D}_{X} $ ， F同理. 为了管理上述映射关系， 引入了两个“轮回一致性”牺牲函数: 从一个域出动到另一个域， 然后再出动回来， 得到的收尾应与运转输入一致. 图34(b)前向轮回一致性牺牲: $ x\to G\left(x\right)\to F\left(G\right(x\left)\right)\mathrm{ }\approx x $ . 图34(c)反向轮回一致性牺牲: $ y\to F\left(y\right)\to G\left(F\right(y\left)\right)\mathrm{ }\approx y $ .

样本x通过映射G生成领域Y里的一个样本 $ \hat{Y} $ ， 然后 $ \hat{Y} $ 通过F生成 $ \hat{x} $ . 设想情况下， x与 $ \hat{x} $ 应当实足调换， 因此通过 $ {\mathcal{L}}_{cyc}^{x} $ 度量x与 $ \hat{x} $ 的辞别; 同理， 通过 $ {\mathcal{L}}_{cyc}^{y} $ 度量 $ y $ 与 $ \hat{y} $ 的辞别. CycleGAN的牺牲函数由重构纰缪 $ {\mathcal{L}}_{cyc} $ (公式(14))和两组GAN纰缪公式(15)和公式(16)组成:

$ {\mathcal{L}}_{cyc}(G， F)={{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[{\left\| {F\left(G\right(x\left)\right)-x} \right\|}_{1}\right]+{{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[{\left\| {G\left(F\right(y\left)\right)-y} \right\|}_{1}\right] $ (14) $ {\mathcal{L}}_{\rm GAN}(G， {D}_{Y}， X， Y)={{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[\log{D}_{Y}\left(y\right)\right]+{{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[\log(1-{D}_{Y}(G\left(x\right)\left)\right)\right] $ (15) $ {\mathcal{L}}_{\rm GAN}(F， {D}_{X}， Y， X)={{E}}_{x\sim{p}_{\rm data}\left(X\right)}\left[\log{D}_{X}\left(x\right)\right]+{{E}}_{y\sim{p}_{\rm data}\left(Y\right)}\left[\log(1-{D}_{X}(G\left(y\right)\left)\right)\right] $ (16)

其中， $ {D}_{X} $ 和G分别为领域X的判别器和生成器， $ {D}_{Y}$ 和F分别为领域Y的判别器和生成器. 轮回一致性牺牲函数使用 $ {L}_{1} $ 范数的阵势. 最终的牺牲函数如公式(17)所示.

$ \mathcal{L}(G， F， {D}_{X}， {D}_{Y})={\mathcal{L}}_{\rm GAN}(G， {D}_{Y}， X， Y)+{\mathcal{L}}_{\rm GAN}(F， {D}_{X}， Y， X)+\lambda {\mathcal{L}}_{cyc}(G， F) $ (17)

优化计议访佛于GAN， 如公式(18)所示.

$ G^*， f^* = \arg \mathop {\min}\limits_{G， F} \mathop {\max }\limits_{{D_X}， {D_Y}}{\mathcal{L}} (G， F， {D_X}， {D_Y}) $ (18)

Jia等东说念主[70]提议了一种勾通轮回一致性域妥当以及对抗学习的无监督CBCT (cone-beam computed tomography)分割步调， 该步调不错收场对CBCT图像的分割而无需使用标注的CBCT图像进行模子检会. 该步调将计议域样本四肢模子的输入， 通过CycleGAN生成合适源域散播的样本. 图35为收场从CT到CBCT模态出动的CycleGAN模子结构默示图.

Fig. 35 The CycleGAN architecture is used to generate sCBCT from CT[70] 图 35 从CT到CBCT模态出动的CycleGAN模子结构默示图[70]

Xing等东说念主[71]首个将CycleGAN用于跨模态图像的细胞核分割: 使用CycleGAN将数字病理学图像逶迤为电子显微镜图像用于下流的分割任务. 图36为该步调过程图， 其中 $ {G}_{ST} $ 和 $ {G}_{T} $ 分别表示源域到计议域的样本生成器偏执相对应判别器， $ {G}_{TS} $ 表示计议域到源域的样本生成器， R表示基于总结任务的细胞核检测器. GAN牺牲用于对抗模子的检会， 轮回牺牲用于保证由源域到计议域再到源域的图像大致出动为原始图像. 细胞核检测器R领先通过域妥当至计议域散播的源域样本检会， 之后使用计议域图像偏执伪标签进行微调.

Fig. 36 Overview of the proposed adversarial domain adaptation for cell detection[71] 图 36 用于细胞检测的对抗性域妥当步调过程图[71]

Yang等东说念主[72]提议了残差轮回对抗生成模子Residual-CycleGAN. 该模子引入残差模块对源域图像作念残差变换. 图37为Residual-CycleGAN的模子结构默示图， 其中F和G分别表示含有残差模块的生成器， 分别用于领域A和领域B; 和b分别表示领域A和领域B的图像; aB和bA分别表示将图像a出动至领域B、将图像b出动至领域A; f表示与设备揣度的特征索要器; $ {D}_{A} $ 和 $ {D}_{B} $ 分别表示领域A和领域B的域判别器; $ {\mathcal{L}}_{cyc} $ 表示轮回一致性牺牲函数; $ {\mathcal{L}}_{\rm GAN} $ 表示生成对抗牺牲函数.

Fig. 37 The framework of Residual-CycleGAN[72] 图 37 Residual-CycleGAN的模子结构默示图[72]

Chen等东说念主[73]将CycleGAN与分割模子勾通， 收场端到端的检会， 其中源域与计议域样本的特征索要器参数分享. 图38为该模子结构默示图及图像对都模块过程图和特征对都模块过程图. $ {G}_{t} $ 表示源域到计议域图像的生成器. 分享编码器E与解码器U共同组成了图像重构模块， 与像素级分类模块 $ {C}_{i} $ 组成了图像分割模块. 判别器 $ \{{D}_{t}， {D}_{s}， {D}_{{p}_{i}}\} $ 对各自的输入求导并计议牺牲. 轮回一致性牺牲函数被用于图像对都模块.

Fig. 38 Overview of unsupervised domain adaptation(top)， and separate views of data flows for image alignment(bottom left) and feature alignment(bottom right)[73] 图 38 模子结构默示图及图像对都模块过程图、特征对都模块过程图[73]

Xie等东说念主[74]发现CycleGAN的一致性牺牲会酿成图像失真. 为了改善该问题， 提议了医学图像互信息生成对抗模子MI2GAN (medical image mutual information GAN). 该模子从两个方面动手: (1) 包含图像对象信息的内容特征不错从域信息中实足分离出来， 加入对抗自编码器; (2) 互信息， 度量两个变量分享的信息， 四肢图像对象保存的度量， 加入一个互信息判别器. 图39为该步调过程图， 其中 $ {G}_{AB} $ 表示由域A到域B的生成器， $ {D}_{MI} $ 表示互信息判别器， $\left(\left\{{Enc_A}， {Dec_A}\right\}，\right\{{Enc_B}， {Dec_B}\left\}\right)$ 组成了X型的双流自编码器.

Fig. 39 The framework of $ {MI}^{2}GAN $ [74] 图 39 互信息管理下的生成对抗步调过程图[74]

Yang等东说念主[75]的研究不同于基于CycleGAN的一双一图像翻译模子， 提议了一种多对多图像翻译步调， 大致捕捉复杂的跨域关系. 图40为该模子解耦表示学习模块以及模子的过程图， 模子主要由解耦表示学习模块以及分割模块组成. 解耦表示学习模块主要包括用于域内图像重构的VAE以及用于跨域图像翻译的GAN， 其中 $ {E}_{c} $ 表示图像的内容编码器， $ {E}_{s} $ 表示图像的作风编码器， s和c为对应的作风编码和特征编码， G表示图像生成器， D表示域判别器.

Fig. 40 Framework for Disentangle Representation Learning Module(Left)、Pipeline of Domain Adaptation via Disentangled Representation(DADR， Right)[75] 图 40 模子的解耦表示学习模块及模子过程图[75]

Jiang等东说念主[76]提议了肿瘤明锐的对抗性域妥当模子TAADA Net (tumor-aware adversarial domain adaptation network). 该模子在由CT生成MR的过程中引入了肿瘤揣度的牺牲函数， 以保证生成的MR上包含对应CT上的肿瘤结构. 图41为该模子结构默示图， 该模子主要由CT生成MR图像的CycleGAN、用于MR图像肿瘤分割的分割子模子组成. 模子领先通过渊博的已标注的CT图像生成相应的MR图像， 再将这些生成的MR样本与竟然的MR样本四肢分割子模子的检会样本. 肿瘤揣度牺牲由肿瘤牺牲(图中双笔画实线卵形部分)以及特征牺牲(图中双笔画虚线卵形部分)组成. 其中肿瘤牺牲用于管理CT图像和合成MR图像的U-Net以生成相似的肿瘤分割收尾; 特征牺牲通过使用如下的管理条目(公式(19))迫使CT图像和合成MR图像的高层特征分享:

Fig. 41 Architecture of tumor-aware adversarial domain adaptation[76] 图 41 肿瘤明锐的对抗性域妥当模子结构默示图[76] $ {L}_{\rm feat}({x}_{c}\sim{X}_{\rm CT})=\frac{1}{C\times H\times W}{\left\| {{\phi }_{\rm CT}\left({x}_{c}\right)-{\phi }_{\rm MRI}\left({G}_{\rm CT\to MRI}\right({x}_{c}\left)\right)} \right\|}^{2} $ (19)

其中， ${L}_{\rm feat}$ 为特征牺牲， ${X}_{\rm CT}\mathrm{、}{x}_{c}$ 分别表示CT 图像域及采集自该域的一个样本. $ C\mathrm{、}H\mathrm{、}W $ 分别为图像的通说念数、高和宽， ${\phi }_{\rm CT}$ 、 ${\phi }_{\rm MRI}$ 分别表示由CT图像和MR图像对应的U-Net索要到的高层特征.

Tang等东说念主[77]研究如何将胸部疾病分类模子从有标注的源域移动到未标注的计议域上， 以裁减在一个全新的数据集上标注的责任量. 该研究标明在非配对图像翻译模子中引入类别揣度的语义信息有助于责罚域妥当问题， 提议了任务导向的无监督对抗模子TUNA-Net (task-oriented unsupervised adversarial network)， 该模子以CycleGAN为基础， 加入了类别信息的管理模块. 图42为该模子结构默示图.

Fig. 42 The architecture of task-oriented unsupervised adversarial network(TUNA-Net)[77] 图 42 任务导向的无监督对抗模子结构默示图[77]

Jiang等东说念主[78]提议了概率分割和图像散播匹配生成对抗模子PSIGAN (probabilistic segmentation and image distribution matching GAN). 作家遐想了一种结伴散播匹配的对抗牺牲函数， 以加入更优的阵势先验对基于CycleGAN的无监督域妥当模子进行管理， 迷惑计议域样本的合成. 图43为该模子结构默示图， 生成器 $ {G}_{C}^{M} $ 将CT图像 $ {x}_{c} $ 出动为伪MR图像 $ {x}_{c}^{m} $ ， 并将其用于分割子模子 $ S $ 的检会. $ S $ 的编码器分为参数不分享的 $ {E}_{M} $ 、 $ {E}_{C}^{M} $ 以及一个参数分享的解码器 $ DE $ ， 通过子模子 $ {S}_{M} $ 和 $ {S}_{C}^{M} $ 为 $ {D}_{\rm struct} $ 和 $ {G}_{C}^{M} $ 分离梯度流. $ {D}_{\rm struct} $ 计议结伴散播匹配{{ $ {x}_{c}^{m} $ ， $ {\psi }_{c}^{m} $ }， { $ {x}_{m} $ ， $ {\psi }_{m} $ }}对抗牺牲 $ {\mathcal{L}}_{\rm struct}^{D} $ ， $ {\psi }_{c}^{m} $ 和 $ {\psi }_{m} $ 由 $ {S}_{M} $ 得出. $ {G}_{C}^{M} $ 对应的对抗牺牲函数 $ {\mathcal{L}}_{\rm struct}^{G} $ 使用{ $ {x}_{c}^{m} $ ， $ {\psi }_{c}^{m} $ }， $ {\psi }_{c}^{m} $ 由 $ {S}_{C}^{M} $ 得出. $ {D}_{M} $ 和 $ {D}_{C} $ 为MR和CT图像域对应的全局像素强度判别器; $ {G}_{M}^{C} $ 以CycleGAN的花式将MR图像出动为CT图像.

Fig. 43 Architecture of Probabilistic Segmentation and Image Distribution Matching GAN(PSIGAN)[78] 图 43 概率分割和图像散播匹配生成对抗模子结构默示图[78]

Chen等东说念主[79]将少样本学习引入基于CycleGAN的图像翻译模子， 以改善CycleGAN存在的源域和计议域之间存在多种可能映射而导致的歧义问题: 通过一个配对的样本对， 在源域和计议域间开导逐个双应的锚点集来学习源域和计议域之间相似的特征模式. 图44为该步调过程图.

Fig. 44 The framework of one-shot GAN[79] 图 44 单样本生成对抗步调过程图[79]

Zhang等东说念主[80]的研究不同于上述非配对图像翻译任务， 并未以CycleGAN为基础， 而是提议了一种噪声妥当模子NA GAN (noise adaptation GAN)， 由一个生成器和两个判别器组成， 其中一个判别器用于学习计议域T所包含的噪声模式， 另一个判别器则使模子大致更好地保存生成图片的内容信息. 图45为该模子结构偏执检会过程， S表示源域. 其检会过程自顶向下分别为每一次迭代关于生成器G、纹理信息判别器DS、内容信息判别器DC的优化过程.

Fig. 45 Architecture of noise adaptation GAN(Top)、Training Pipeline(Bottom)[80] 图 45 噪声妥当性生成对抗模子结构偏执检会过程[80]

关于领域泛化问题， 最疏忽和直不雅的主义便是丰富检会样本， 也即数据增广. 收场数据增广有两种门路: 扩大数据集以及合成检会样本. 由于扩大数据集需要大限度数据采集和东说念主工标注， 而医学图像无论是从数据得回照旧标注上时时都存在着许多袭击， 因此， 通过模子生成更多的检会样本就成了领域泛化的渊博聘用.

Zhang等东说念主[81]通过使用如图像锐化、图像迂缓等图像处理函数进行组合， 产生不同图像质料、图像外不雅以及图像的空间位置改变的检会样本， 以模拟各式可能的域漂移景观， 进而提高模子的泛化才略. 图46为该步调在(a)前线腺MRI， (b)左心房MRI， (c)左心室MRI 的收尾样例.

Fig. 46 Examples of deep stacked transformations (BigAug) results on (a) whole prostate MRI， (b) left atrial MRI， and (c) left ventricle ultrasound[81] 图 46 深度堆叠出动步调的收尾样例[81]

Xiong等东说念主[82]觉得抖动的面孔空间有助于模拟未知域数据的散播情况， 通过应用图像局部平均减法和对比度增强， 将像素值变化较大的图像投影到调换且沉寂的散播中， 以扼制布景噪声而保留关节的病情信息; 同期还采纳了一种特殊的主要素分析(principal components analysis， PCA)步调， 将检会图像的面孔与给定图像中现时的面孔重量进行变换， 以模拟未知域图像的面孔， 从而协助提高模子的泛化才略. 图47为多设备产生的原始图像及对应的EDT变换图像， 设备包括佳能CR2、Crystalvue FundusVue、Syseye retiCam 3100和Topcon NW 400. 第1行为原始图像， 第2行为对应的EDT变换图像.

Fig. 47 Raw images of a participant by using Canon CR2， Crystalvue FundusVue， Syseye retiCam 3100 and Topcon NW 400. First row are raw images and the second row are corresponding EDT transformed images [82] 图 47 使用不同设备拍摄的病例图片[82]

基于数据增广的步调将域妥当问题出动为监督学习问题， 该步调的关节在于如何将源域样本变换到计议域， 得手合成符共计议域散播的样本是现时揣度研究共同面对的一个难点， 生成模子是影响该步调性能的主要因素. 就面前的研究责任来看， 大部分研究都以CycleGAN这种大致维持非配对数据的生成模子为基础， 具有更好地场景妥当才略， 因为在现实中， 囿于医学图像昂贵的采集老本， 除非刻意去采集， 不然医学图像数据很难成对出现. 这类步调的研究后劲在于改日性能更佳的非配对生成模子的提议.

2.2.6 基于增强特征泛化才略/元学习的步调

Wang等东说念主[83]通过增强特征泛化才略来责罚领域泛化问题， 提议了域导向特征镶嵌模子DoFE Net (domain-oriented feature embedding network). 该模子引入领域常识库来学习和记挂从多源领域中索要的先验信息， 然后阐述输入图像与多个源域之间的相似度， 从常识池中归纳露面向领域的团聚特征来增强原始图像特征. 图48为该模子结构默示图， 其中 $\{\mathcal{D}_{1}， \dots ， \mathcal{D}_{K}\}$ 表示来自K个不同散播的源域数据， $\mathcal{D}_{K+1}$ 表示一个检会时不可见的计议域数据.

Fig. 48 Schematic diagram of proposed domain-oriented feature embedding(DoFE) framework to utilize multi-source domain datasets { $ {D}_{1} $ ， ...， $ {D}_{k} $ } for generalizable segmentation on the unseen dataset $ {D}_{k+1} $ [83] 图 48 域导向特征镶嵌模子结构默示图[83]

Finn等东说念主[84]提议了一种基于梯度的元学习步调， 并以五类五样本的少样本学习的图片分类为例: 领先检会一个模子 ${M}_{\rm fine{\text{-}}tune}$ 用于未知标签的图片分类， 类别为 $ {P}_{1} $ ~ $ {P}_{5} $ ， 其中每类5个标注样本用于检会， 15个标注样本用于测试; 此外还包含10个类别 $ {C}_{1} $ – $ {C}_{10} $ ， 每类30个标注样本， 用于检会元学习模子 ${M}_{\rm meta}$ . 图49为MAML的元学习模子 ${M}_{\rm meta}$ 的检会过程.

Fig. 49 Algorithm of model-agnostic meta-learning(MAML)[84] 图 49 模子无关元学习步调检会过程[84]

MAML算法的中枢在于快速妥当， 也即重迭地就怕抽取任务T， 组成由多个任务T组成的大型任务集(这里的每个任务便是一个检会样本)四肢MAML的检会集. 模子 $ {M}_{\rm fine{\text{-}}tune} $ 的检会过程与模子 $ {M}_{\rm meta} $ 大约调换， 区别在于微调模子使用的运逶迤参数为 $ {M}_{\rm meta} $ 的参数， 此外微调模子莫得二次梯度更新; Li等东说念主[85]进一步将MAML拓展到领域泛化问题中， 提议了MLDG (meta-learning for domain generalization)步调. MLDG步调的中枢想想是学习一个与域无关的特征表示. 具体来说， MLDG将底本的检会集分为元检会集与元测试集. 元检会集用于模子参数更新， 元测试集用于模子评估. 该步调旨在通过有限的检会集上模拟域漂移的景观， 以让模子学习到领域不变的特征， 增强模子泛化才略. Liu等东说念主[86]将基于梯度的元学习步调应用于多中心前线腺磁共振图像分割任务， 图50为阵势明锐的元学习步调概览， 其中 $ \{\mathcal{D}_{1}， \dots ， \mathcal{D}_{K-1}， \mathcal{D}_{K+1}\} $ 表示来自K−1个不同散播的源域数据， $ \mathcal{D}_{K} $ 表示从K个不同散播的数据源中抽出一个数据源四肢检会时不可见的计议域数据. 多个源域被就怕远隔为元检会和元测试以模拟域漂移的情况.

Fig. 50 Overview of the shape-aware meta-learning scheme[86] 图 50 阵势明锐的元学习步调概览[86]

面前来看， 由于领域泛化是指计议域样本不可知的域妥当问题， 是最为复杂的域妥当问题. 基于增强特征泛化才略的步调从特征层面增强模子的泛化才略， 面前学界对揣度步调的研究尚处于起步阶段， 揣度研究责任较少， 但关于医学图像分析的临床应器用有十分要紧的道理. 与其他责罚域妥当问题的步调比较， 还未形成一个较为长入的时刻阶梯.

3 多站点学习与联邦学习问题 3.1 多站点学习问题界说

多站点学习不错阵势化界说为: 数据集 $ {D}_{k}=\{{X}_{k}， {y}_{k}\} $ 中包含来自 $ k $ 个源域(站点)的数据， 源 $ {D}_{i} $ 与源 $ {D}_{j} $ 之间的特征空间调换: $ {X}_{i} = {X}_{j} $ ， 标签空间调换: ${y}_{i} = {{y}}_{j}$ ， 但边际散播不同: $ P\left({X}_{i}\right)\ne P({X}_{j}) $ . 多站点学习便是通过来自多个源域的数据学习一个映射 $ f $ ， 以预测测试集上的来自多个源域的标签 $ {y}_{k} $ .

3.2 多站点学习揣度步调偏执在深度医学图像分析中的应用

Saunders等东说念主[87]比较了使用多个公开数据集的移动学习和多站点学习对指定的某个站点的前线腺MRI分割模子性能的提高成果， 此外还评估了模子性能如何跟着用于检会的某一站点的样本数目的变化而变化， 为面向特定站点的前线腺MRI分割算法的遐想提供了参考依据.

Onofrey等东说念主[88]研究了深度学习算法在临床使用中的一个关节问题: 如何通过归一化步调充分地诈欺多中心医学图像数据集， 提纯粹度神经荟萃模子的鲁棒性. 作家在多中心前线腺MR图像数据上进行了2D前线腺腺体分割实验， 实验收尾标明归一化步调确乎大致较好地诈欺采集自不同设备、不同公约的MR图像.

Karani等东说念主[89]的研究标明微调模子的批归一化层， 同期固定模子中其他部分的权重关于保留跨站点的分享特征表示是十分故意的.

访佛于文件[88，89]关于批归一化层的研究， Chang等东说念主[6]的研究标明， 在域妥当的问题设立下， 独马上归一化不同站点的特征会显贵提高模子的性能， 标明了站点间沉寂的特征归一化操作关于处理域漂移问题的有用性.

Rundo等东说念主[90]提议了通说念特征校准步调， 得手地将原先用于脑部结构分割的模子用于前线腺腺体分割， 同期也提高了模子在多站点数据上的性能发达. 如图51所示为其模子结构默示图.

Fig. 51 Scheme of the USE-Net Architecture[90] 图 51 USE-Net模子结构默示图[90]

Liu等东说念主[91]提议了多站点模子MS-Net (multi-site network): 通过学习鲁棒表示， 诈欺多中心数据来提高前线腺分割模子的庄重性. 为了抵偿不同MRI数据集的站点间异质性， 在模子的backbone中加入了特定领域的批归一化层， 使模子大致对每个站点的样天职别进行统计和特征归一化. 推敲到从多个数据聚拢得回分享常识的袭击性， 作家提议了一种新的学习范式， 即基于多站点为迷惑的常识移动， 以增强卷积核从多站点数据中索要愈加通用表示的才略. 图52为该模子结构默示图.

Fig. 52 Architecture of multi-site network[91] 图 52 多站点模子结构默示图[91]

该模子包括一个通用的骨干荟萃以及分属于 $ S $ 个数据源的扶持分支， 骨干荟萃的编码器妥协码器部分均通过域特定归一化层抵偿不同站点的异质性. 在每一次迭代的过程中， 为模子喂入S批图像， 每个站点一批图像. 通用荟萃通过多站点的ground truth监督协同检会， 并从扶持分支移动多站点常识， 以匡助探索跨不同数据集分享的共同表示.

Boutillon等东说念主[92]提议了多站点多任务分割模子用于儿童肩部骨骼和脚踝骨骼MRI的分割， 除在引入域间沉寂的批归一化层和分割层以外， 通过在镶嵌空间中提高域内数据的相似度、强化域间数据的互异， 并加入了基于监督学习的对比学习正则项管理以提高模子在多站点数据上的鲁棒性.

Valindria等东说念主[93]四肢首个基于监督学习的未配对CT和MRI分割的研究， 对4种不同类型的维持双模态输入的模子结构进行研究. 研究标明“X”型架构的模子性能最优. 研究标明CT和MRI两种模态的数据之间的域漂移问题严重影响了特征分享， 需要对每一个模态单独地构建编码器妥协码器结构.

Dou等东说念主[94]提议了一种全新的未配对跨模态图像分割步调. 图53为基于常识蒸馏的未配对图像分割多模态学习步调概览， 作家提议了一种“蜈蚣”形多模态学习结构， 不同模态图像的归一化层分别在不同的变量作用域收场， 通盘的卷积层分享调换的变量作用域， 作家还提议了一种从Softmax前的激活值中索要语义信息的步调， 并为基于KL散度的牺牲项推导出一双欺凌矩阵. 作家分别在腹黑的2D分割任务以及腹腔多器官3D分割任务上考证了该步调对多模态分割任务的通用性， 实验收尾标明将多模态数据共同放入一个模子中有助于简化深度学习算法的部署， 同期大致提高模子在临床实践中的可用性.

Fig. 53 Proposed method[94] 图 53 基于常识蒸馏的未配对图像分割多模态学习步调概览[94]

Wang等东说念主[95]以新冠肺炎病灶分割的基线模子COVID-Net为骨干荟萃， 提议了一个多站点学习的框架， 一定进程上削弱了不同站点间新冠肺炎CT图像的异质性问题对模子性能的负面影响. 该框架中的站点沉寂批归一化用于削弱站点数据的异质性， 对比学惯用于增强对域无关语义特征的学习.

3.3 联邦学习问题界说

联邦学习是从分散在渊博的不同的站点的数据检会一个高质料的分享全局模子. 在数学上， 假定有K激活客户的数据驻留在一个客户端不错是一个手机， 一个可衣裳设备， 或临床机构数据仓库等). 让k表示与客户k揣度的数据散播， nk表示该客户提供的样本数目. $ n =\displaystyle\sum_{k=1}^K n_{k} $ 为总样本量. 联邦学习问题不错归结为责罚一个申饬风险最小化问题:

$ \min _{w \in \mathbb{R}^d} F(w) :=\sum_{k=1}^{K} \frac{n_{k}}{n} F_{k}(w)，\;\; \text { where } F_{k}(w) :=\frac{1}{n_{k}} \sum_{x_i \in D_{k}} F_{i}(w) $ (20)

其中， w为要学习的模子参数. 函数F是通过依赖于一双输入输出数据对{xi， yi}的牺牲函数来指定的. 典型为 ${x}_i \in \mathbb{R}^d $ 和 $y_i \in \mathbb{R}$ 或 ${y_i} \in\{-1，1\} $ .

3.4 联邦学习在深度医学图像分析中的应用

联邦学习四肢多站点学习的递进范式， 大致以秘密保护的花式使用来自多家医疗机构的数据检会机器学习模子， 然则这种散播式的机器学习花式也会带来各样问题， 其中站点间数据的异质性是其常见问题之一. Xu等东说念主[96]综述了联邦学习在医疗健康的研究进展及揣度应用， 参谋了医学数据联邦学习存在的问题、挑战偏执责罚有计议， 其中说起了医学数据联邦学习所面对的统计挑战: 也即不同着手， 不同站点的数据异质性. Zhu等东说念主[97] 翔实分析了非沉寂同散播数据对横向和纵向联邦学习设立中的参数化和非参数化机器学习模子的影响， 回首了现时在联邦学习中处理非沉寂同散播数据挑战的揣度研究， 全面分析了揣度步调的优瑕疵， 旨在为散播式且异质性的医学数据处理的研究提供要紧参考.

为了责罚医学图像数据由于采集设备和参数设立而导致的特征漂移， Idrissi等东说念主[98]提议了一种大致在联邦学习设立下责任的带有批归一化操作的深度神经荟萃， 基于每个用户的牺牲值对腹地模子进行加权来预热全局模子. 该步调在保证了每个站点数据的秘密性的同期缩小了异质性数据结伴学习带来的影响， 同期提高了检会时模子的敛迹速率.

Yang等东说念主[99]提议了一种联邦学习设立下的半监督学习医学图像分割框架， 在保护病例数据秘密性的前提下最大限制地诈欺多个医疗机构的标注以及未标注数据， 并在来自多个国度的多家医疗机构的COVID-19病灶分割任务中考证了步调的有用性.

Zhang等东说念主[100]提议了基于动态交融的联邦学习框架， 缓解了联邦学习中非沉寂同散播的站点数据的影响. 该步调大致阐述客户的腹地模子性能动态地决定参与的客户， 以此保证全局模子的庄重性. 在COVID-19检测任务上考证了步调的有用性.

Shen等东说念主[101]觉得基准的联邦学习步调并不行很好地责罚由于站点间类别互异产生的问题， 如有的站点唯独健康的样本， 而有的站点唯独患病的样本. 因此提议了基于多任务学习优化的联邦学习步调， 并在腹部CT的胰腺分割任务上考证了其步调的有用性.

不同于大多数步调春联邦学习基本框架的更正而引入了渊博待优化的超参数， Yang等东说念主[102]通过一种疏忽的部分模子分享的花式来责罚联邦学习中的数据秘密与数据安全问题. 该步调在多机构的COVID-19检测任务上考证了有用性.

Yan等东说念主[103]提议了数据异质性感知的联邦学习框架， 该步调领先聘用一个数据复杂度最低的客户(机构)数据四肢计议域图像空间， 随后通过保护秘密的生成对抗荟萃将每个机构的数据翻译至计议域图像空间. 该步调在多机构ADC图像的前线腺癌灶分割任务上考证了其有用性.

Guo等东说念主[104]提议了一个基于联邦学习的框架， 以保护数据秘密的花式诈欺多站点数据进行MR图像重建任务. 为了责罚多站点学习中的域漂移问题， 引入一种跨站点建模的步调， 该步调通过监督学习的花式以对其每个局部实体中源域计议域之间的隐式空间散播而无需分享数据. 如图54所示为FL-MR联邦学习框架默示图.

Fig. 54 Overview of the FL-MR framework[104] 图 54 FL-MR联邦学习框架[104] 4 总结与瞻望

关于医学图像分析中的数据异质性问题及揣度责罚步调的概览如图1所示. 咱们进一步从步调分类、问题分类、步调亮点、影像类型、模态类型、监督阵势、任务等几个方面对上述研究责任进行归纳与总结， 翔实内容见附录A.

● 医学影像类型涵盖了包括辐射学影像、眼科学影像、病理学图像、皮肤镜图像、内窥镜图像、超声图像近乎通盘的医学成像类型.

● 模态类型(单模态/跨模态): 针对应的源域/计议域单模态和跨模态的数据异质性. 单模态即为消亡成像花式下由于设备制造商、参数设立以及病例间的病情不同产生的数据异质性. 跨模态具体可分为: (1) 消亡成像花式下的跨模态， 如MR包括T1序列、T2序列、DWI序列、FLAIR序列、DCE序列等; (2) 不同成像花式下的跨模态， 如将在CT影像下检会的模子移动至MR影像.

● 监督阵势: 关于域妥当问题， 其计议域仅可使用图像而无法使用对应的标签， 故其计议域监督阵势为无监督; 而关于其他移动学习及多站点学习问题， 均为有监督(全监督)的阵势.

● 任务: 以分割任务为主， 分割和分类任务占大多数. 医学图像分割是医学图像分析的基石， 不管是关于器官照旧病灶来说， 通过算法准确勾画其轮廓， 对影像科医生、揣度科室医生的扶持筛查、术前会诊、手术盘算推算或是预后分析都具有十分要紧的道理. 此外医学图像分割关于此外还有一些图像翻译、关节点总结以及计议检测任务.

无监督域妥当是现时移动学习领域的研究热门， 关于面向医学图像处理的深度学习算法的工业化应用与部署具有十分要紧的道理. 面前揣度责任东要聚拢于单源单计议的域妥当， 仅有极少部单干作面向多源多计议以及领域泛化. 而在现实的临床应用中， 不同医疗机构的设备时时具有很大互异， 单源单计议域妥当模子时时不具备弥散的泛化才略. 此外， 域妥当的过程时时是十分复杂的， 单源单计议域妥当的过程分为源域模子的检会、源域模子到计议域的域妥当以及计议域模子的预测3个阶段， 这在模子检会及现实使用中十分耗时， 难以实践应用. 因此， 如何使用少许计议域样本快速完成新数据的域妥当， 或者通过在线域妥当的花式实时对既有模子进行更新与迭代， 还有待进一步研究.

多站点学习则是异质性医学图像处理中的另一大新兴研究点， 面前关于异质性医学图像处理的多站点学习问题研究还比较少. 而跟着开源数据集的增加以及专罕有据集的结伴使用， 现时研究所使用的数据聚拢时时存在多少不同散播的子集， 如何充分诈欺这些互异散播的多源数据对模子的遐想责任也提议了一定的挑战.

此外， 现时的研究也大多局限于责罚标签空间、条目概率散播一致情况下， 检会集里面或者检会集和测试集之间的边际散播不同而产生的移动学习及多站点学习问题. 而如Fan等东说念主[105]所参谋的更一般同期亦然更复杂的情况， 如标签空间不一致的域妥当问题爱你我就色色你， 部分域妥当、开集域妥当和通用域妥当则更具挑战. 其中， 部分域妥当问题指的是计议域的标签空间是源域的标签空间的子集的一类域妥当问题; 开集域妥当问题与部分域妥当问题违抗， 指源域的标签空间是计议域标签空间的子集的一类域妥当问题; 通用域妥当问题则是指源域和计议域标签空间的关系不可知的一类域妥当问题. 责罚好这些复杂的问题， 医学图像处理的深度学习算法智力够得到更正常的临床应用. 如当计议域中加入了源域中未出现的全新类别的样本时， 如何通过标签空间之间关系的不同， 责罚部分域妥当或者开集域妥当的问题.