医疗大数据实验室8篇高水平论文入选MICCAI 2023

MICCAI (International Conference on Medical Image Computing and Computer Assisted Intervention)是医学图像计算与计算机辅助干预国际会议。该会议自 1998 年开始，被广泛认为是医学图像处理领域内的顶级会议之一。今年，MICCAI 2023将会在加拿大温哥华举行，并于近日公布了会议的论文录用结果。

其中深圳市大数据研究院医疗大数据实验室（Medical Big Data Laboratory）共有8篇论文被接收，从2250篇投稿中脱颖而出，具体信息如下：

入选论文

ASC:基于外观和结构一致性的无监督域适应方法用于胎儿脑部核磁图像分割

ASC: Appearance and Structure Consistency for Unsupervised Domain Adaptation in Fetal Brain MRI Segmentation

基于视觉-属性提示学习的进行性轻度认知障碍预测

Visual-Attribute Prompt Learning for Progressive Mild Cognitive Impairment Prediction

基于扩散模型的细胞核分割数据扩增

Diffusion-based Data Augmentation for Nuclei Image Segmentation

基于分组提示学习的细胞检测分类框架

Prompt-based Grouping Transformer for Nucleus Detection and Classification

基于自/半监督学习的胃镜病灶检测

Self- and Semi-Supervised Learning for Gastroscopic Lesion Detection

胃底静脉曲张出血风险自动分级系统

Automatic Bleeding Risk Rating System of Gastric Varices

基于自适应权重及微调扩散模型的结肠镜影像合成

ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models

用于超广角扫描激光眼底镜转换到超广角荧光血管造影的多级GAN网络

UWAT-GAN: Fundus Fluorescein Angiography Synthesis via Ultra-wide-angle Transformation Multi-scale GAN

论文摘要

1、ASC:基于外观和结构一致性的无监督域适应方法用于胎儿脑部核磁图像分割

ASC: Appearance and Structure Consistency for Unsupervised Domain Adaptation in Fetal Brain MRI Segmentation

论文作者：徐子航，龚海帆，万翔，李灏峰

胎儿脑部图像的自动组织分割对于产前神经发育的定量分析至关重要。然而，产生胎儿脑成像的体素级标注是耗时且昂贵的。为了降低标注成本，我们提出了一种实用的无监督领域自适应（UDA）设置，将高质量胎儿脑图谱的分割标签适应到来自另一个领域的未标记胎儿脑MRI数据。

图1 本工作所提出的外观和结构一致性的无监督域适应方法（ASC）

为了解决这个任务，我们提出了基于外观和结构一致性的新型无监督域适应框架，名为ASC。我们通过在基于频率的图像变换之前和之后限制一致性来适应不同领域的外观，该变换是为了在目标域（FeTA数据集）的脑MRI数据和源域（Atlas数据集）的脑部MRI数据之间交换外观。需要注意的是，即使在同一领域中，不同胎龄的胎儿脑图像在解剖结构上也可能存在显着差异。为了使模型适应目标领域中的结构变化，我们进一步鼓励源域和目标域数据在不同结构扰动下的预测一致性。该方法的示意图如图1所示。

在FeTA 2021基准测试上的广泛实验表明，与基于配准、半监督学习、和现有UDA方法相比，我们的ASC具有更好的效果。具体而言，我们比之前最先进的方法提高了1.8%的Dice分割系数。

2、基于视觉-属性提示学习的进行性轻度认知障碍预测

Visual-Attribute Prompt Learning for Progressive Mild Cognitive Impairment Prediction

论文作者：康洛耀，龚海帆，万翔，李灏峰

深度学习已经被广泛地用于基于脑成像数据的轻度认知障碍（MCI）和阿尔茨海默病（AD）的自动诊断。在临床上，专家广泛地使用临床信息进行诊断。然而，过往的基于深度学习的方法并没有完全利用大脑图像和临床信息之间的关系，进而导致诊断模型的性能受限。为了同时利用来自成像和表格属性数据的异质性特征，我们提出了基于视觉-属性提示学习的Transformer，VAP-Former，这是一个基于Transformer的网络，可以有效地提取和融合多模态特征特征，并进行提示性微调。此外，我们提出了一个提示微调（PT）方案，将AD预测任务的知识迁移到进行性MCI（pMCI）的诊断中。具体来说，我们首先在AD诊断任务上对没有提示的VAP-Former进行预训练，然后在pMCI检测任务上用PT对模型进行微调，只需要优化少量的参数，同时冻结特征提取器的参数。另外，我们为视觉提示模块提出了一个新颖的全局提示token，为多模态表征提供全局指导。实验结果不仅表明了在pMCI预测方面我们的方法与最先进的方法相比的优越性，而且还证明了全局提示可以使提示学习过程更加有效和稳定。除此之外，所提出的提示学习模型将知识从AD迁移到pMCI上，在pMCI检测任务上取得优异的性能，甚至优于完全微调的基线模型。超过第二好的模型1.16%BACC和0.98%AUC。

本工作的主要创新点贡献如下：

提出了一个基于Transformer的视觉-属性提示学习框架VAP-Former（图1），用于pMCI检测。

设计了一个适应高维度核磁共振图像（MRI）数据的全局提示，并建立了一个提示学习框架，用于将AD诊断知识高效地迁移到pMCI检测。

实验表明，我们的VAP-Former在pMCI预测任务上获得了最好的结果，超过了完全微调的方法，同时也验证了全局提示可以使训练更加高效和稳定。

图1 本工作所提出的深度运动网络（VAP-Former）

3、基于扩散模型的细胞核分割数据扩增

Diffusion-based Data Augmentation for Nuclei Image Segmentation

论文作者：余心仪，李冠彬，万翔，刘斯奇，李灏峰

细胞核分割是病理学图像分析中一项基本但具有挑战性的任务，准确分割细胞核有助于分析组织病理图像以辅助临床诊断和治疗。研究者已提出了多种基于深度学习的细胞核分割模型。由于多数深度分割模型是全监督的，其良好的分割性能依赖于在大量有标记图像上进行训练。然而，在病理图像上手动标记所有细胞核边界非常耗时且需要领域知识。在实践中，难以获得大量具有密集像素级标注的病理图像，通常只能收集少量有标记图像。因此，如何扩充仅有少量有标记图像的数据集以提高全监督模型的分割性能是一个重要的研究课题。

本研究提出了一种基于扩散模型的细胞核分割数据扩增方法（图1.1），采用两阶段的方式，利用扩散模型分步生成细胞核实例分割图和相应的病理图像。本工作的主要贡献如下：

（1）首次提出了基于扩散模型的数据扩增框架，病理图像和对应的标记均由扩散模型生成；

（2）分别设计了生成细胞核实例分割图的无条件扩散模型和生成病理图像的有条件扩散模型，使得生成的样本对真实多样，且保证病理图像与相应的实例分割图准确对齐；

（3）实验结果表明，利用我们的方法扩增10%有标注数据集，所训练出分割模型的效果能够达到甚至超过全监督模型。

图1.1 本工作所提出的基于扩散模型的细胞核分割数据扩增框架

4、基于分组提示学习的细胞检测分类框架

Prompt-based Grouping Transformer for Nucleus Detection and Classification

论文作者：黄俊嘉，李灏峰，Weijun Sun，万翔，李冠彬

自动化进行细胞的检测和分类可以为疾病诊断提供有效的信息。大多数现有方法独立地对细胞核进行分类，或者没有充分利用细胞核与其分组特征之间的语义相似性。本文提出了一种基于分组提示学习的全新的端到端细胞核检测和分类框架，如图1所示。本文提出了分组Transformer模块，通过分组嵌入来学习细胞核核群组和类别的表示。然后，通过分组嵌入和候选核特征之间的成对相关性来预测细胞类型。为了提高完全基于Transformer的框架的效率，本文将分组嵌入作为骨干的提示嵌入输入进行提示学习，仅调整提示嵌入而不是整个骨干的参数权重来获取特征。实验结果表明，所提出的方法分别在CoNSeP数据集上提升了1.8%的分类F1指标，在BRCA-M2C数据集上提升了3.9%的分类F1指标，在Lizard数据集上提升了6.4%的分类F1指标。

图1 本工作所提出基于分组提示学习的细胞检测分类框架（PGT）

5、基于自/半监督学习的胃镜病灶检测

Self- and Semi-Supervised Learning for Gastroscopic Lesion Detection

论文作者：张轩烨，尹凯歌，刘斯奇，冯志杰，韩晓光，李冠彬，万翔

胃镜病灶检测在电脑辅助诊疗中扮演者重要角色。然而，由于缺少标注数据，该项任务及针对于该项任务的方法仍未被充分研究。两个原因导致了通用目标检测器在胃镜病灶检测任务上的表现低于预期：1）胃镜病灶数据集的有标注数据的量远小于自然图像目标检测数据集中有标注数据的量；2）胃镜病灶与自然图像中的物体存在显著不同：胃镜病灶具有高整体相似性以及高局部多样性。胃镜病灶的这个特征也使得通过自监督/半监督方法使用大量未标注数据来弥补标注数据缺失的尝试表现低于预期。因此，本研究针对于胃镜病灶的特点提出了一种基于自/半监督(SSL)的胃镜病灶检测方法来提高胃镜病灶检测任务的精度。本研究所提出的方法包括一个针对于骨架网络预训练的融合自监督学习方法（HSL）和一个针对于半监督检测器训练的基于原型向量的伪标签生成方法（PPG）（详见图1）。HSL联合了基于块的重建以及稠密对比学习来充分发挥两者各自的从大量未标注数据进行特征学习的优势。PPG基于与原型向量的相似度来生成伪标签进而从大量未标注数据中发现潜在病灶的同时避免产生过多有噪音的标签。除此之外，我们贡献了第一个大规模的胃镜病灶检测数据集(LGLDD)，该数据集包括10083胃镜图片以及四类（息肉，溃疡，癌症，粘膜下肿瘤）共12292个胃镜病灶的检测框。在LGLDD的实验表明SSL可以显著提高胃镜病灶检测的精度相比于基线方法。（数值结果见表1，可视化结果见图2）

图2 基线方法以及SSL在LGLDD数据集的可视化结果

6、胃底静脉曲张出血风险自动分级系统

Automatic Bleeding Risk Rating System of Gastric Varices

论文作者：江奕成，石鲁越，齐威，刘斯奇，陈雷，李冠彬，韩晓光，万翔

胃底静脉曲张出血风险自动分级系统旨在预测静脉曲张的出血风险和严重程度，以帮助内镜医师进行诊断，从而降低肝硬化门脉高压患者的死亡率。然而，由于缺乏普遍接受的量化标准，风险分级高度依赖于内窥镜医师的经验，并且在不同的应用场景中可能存在很大差异。在这项工作中，我们的目标是建立一种自动的胃底静脉曲张出血风险分级方法，该方法可以向经验丰富的内窥镜医生学习并提供稳定且准确的预测。由于胃底静脉曲张结构的复杂性，即具有较大的类内变化和较小的类间变化，我们发现现有模型在这项任务上表现不佳，并且往往会失去对重要静脉曲张区域的关注。为了解决这个问题，我们建设性地将胃底静脉曲张的分割引入分类框架中，并提出区域约束模块和跨区域注意模块，以更好地进行特征定位并学习上下文信息的相关性。我们还建立了胃底静脉曲张出血风险分级数据集（GVbleed），其中包含来自411名患者的1678张胃镜检查图像，这些图像由高级临床内窥镜医师共同标注为三个风险级别。在我们收集的数据集上进行的实验表明，与之前的方法相比，我们的方法相比于基线模型可以将评级准确率提高约5%。

图1 胃底静脉曲张示例图

图2 胃底静脉曲张出血风险分级流程图

7、基于自适应权重及微调扩散模型的结肠镜影像合成

ArSDM: Colonoscopy Images Synthesis with Adaptive Refinement Semantic Diffusion Models

论文作者：杜雨豪，蒋云丞，谭双翼，吴旭生，窦琪，李镇，李冠彬，万翔

结肠镜检查分析，特别是自动化息肉分割和检测，对于协助临床诊断和治疗至关重要。然而，由于医学图像标注是一个非常消耗劳动力与资源的过程，标注数据的稀缺限制了现有方法的有效性和通用性。尽管最近的研究集中在数据生成和增强上以解决这个问题，但生成的数据的质量仍然是一个挑战，这限制了对后续任务性能的贡献。受扩散模型在拟合数据分布和生成高质量数据方面的优势启发，我们计划在此项目中通过一个自适应重加权及微调的扩散模型来生成与原始标签对应的内镜影像。生成的影像与原始标签高度对应，对下游任务的准确度带来大幅提升。

本研究提出了一个自适应权重及后续微调的扩散模型（图1），通过生成与原始标签高度对应的肠镜图片来帮助下游息肉分割和检测任务。本工作的主要创新点贡献如下：

（1）首次提出了基于自适应权重及后续微调的扩散模型来进行结肠镜图像生成。

（2） ArSDM框架可以利用已有的标注来生成大体量的数据集，从而大大减少人工标注的成本，并为大规模预训练奠定基础。

（3）实验结果表明，利用我们的方法，可以大幅提升息肉分割和检测任务的准确度。

图1 本工作所提出的自适应权重及微调的扩散模型（ArSDM）

8、用于超广角扫描激光眼底镜转换到超广角荧光血管造影的多级GAN网络

UWAT-GAN: Fundus Fluorescein Angiography Synthesis via Ultra-wide-angle Transformation Multi-scale GAN

论文作者：方昭杰，陈章昊，魏朋雪，李王婷，张少冲，Ahmed Elazab，贾刚勇，葛瑞泉，王昌淼

眼底摄影是一种常用的临床检查技术，可以用于诊断眼底疾病。近年来，超广角（UWF）技术、超广角荧光血管造影（UWF-FA）和超广角扫描激光眼底镜（UWF-SLO）等技术在眼底影像领域逐渐得到应用。然而，荧光血管造影和超广角荧光血管造影需要注射荧光钠，可能会对患者造成不良影响，如恶心呕吐等。为了避免这种不利影响且基于当前在眼底影响领域的图像生成方法产生的图像分辨率较低且无法捕捉微小的血管病变区域的缺点，我们提出了一种新的条件生成对抗网络（UWAT-GAN）（图1），用于从UWF-SLO生成UWF-FA。与当前在眼底影像领域的图像生成方法相比，我们的算法通过使用多尺度生成器和融合图块来更好地提取全局和局部信息，并生成高分辨率图像，从而捕捉微小的血管病变区域。同时，我们还引入了一种注意力传递模块，以帮助解码器更加有效地进行学习。值得一提的是，我们的方法采用监督式学习，在不同尺度的数据上使用多个新的加权损失来训练网络。通过与我们合作医院提供的私有数据集上的实验，我们证明了我们提出的UWAT-GAN方法优于目前许多先进的方法（表1.1）。图1 本提出的用于超广角扫描激光眼底镜转换到超广角荧光血管造影的多级GAN网络（UWAT-GAN）

表1 对不同生成图片的方法通过四个评估指标进行评估（*代表官方代码未提供测量方式）

研究院指导老师

万翔，深圳大数据研究院的高级研究科学家，同时也是香港中文大学（深圳）副教授。万教授研究领域为整合分析，数据挖掘，大规模基因组数据分析，高性能计算，循证医学。万教授长期深耕于多类型数据整合分析和数据挖掘，在许多顶级期刊和会议上上发表论文90余篇，包括《自然遗传学》、《美国人类遗传学杂志》、《BMC 遗传学》、《生物信息学》、《BMC 生物信息学》、《神经信息学》和《IEEE / ACM 关于计算生物学和生物信息学的交易》等，入选2021和2022全球前2%顶尖科学家榜单及爱思唯尔2021中国高被引学者。万教授目前任职医疗大数据实验室主任，团队成员总计60余人。实验室的研究目标是借助人工智能和机器学习技术，整合电子医疗病历，医学图像、生物医学及生物信息数据，开发新颖的智能模型来辅助复杂疾病的诊断和治疗。

李灏峰博士，现于深圳市大数据研究院担任研究科学家，2015年于中山大学计算机系获理学学士学位，2020年于香港大学计算机系获博士学位。其研究方向包括病理图像分析、脑核磁成像分析和深度神经网络等，在IEEE TMI, MedIA, MICCAI, ICCV, AAAI, ACM MM, IEEE TIP, IEEE TCyb, ISBI等著名国际期刊和会议发表论文近20篇。李灏峰博士是IEEE TPAMI, IEEE TIP, IEEE TCYB, Pattern Regconition, Neurocomputing, NeurIPS 2022, MICCAI 2023等顶级期刊和会议的审稿人。他是IEEE电气电子工程师学会、中国计算机学会和广东省卫生信息网络协会病理数字化应用分会的会员，被评为深圳市海外高层次人才，并入选深龙英才计划。他目前作为项目负责人，主持一项中国国家自然科学基金项目，和一项广东省基础与应用基础研究基金面上项目。李博士曾带领他的团队于2022年12月获得NeurIPS 全球细胞分割挑战赛亚军（100多只参赛队伍）。最近，他指导的4项研究成果被医学影像著名会议MICCAI 2023接收。更多细节详见 http://haofengli.net/。

李冠彬，博士，副教授。分别于2009年和2012年在中山大学获学士和硕士学位，2016年在香港大学计算机科学系获博士学位，博士期间获得香港政府奖学金（HKPFS）资助。目前主要从事计算机视觉和机器学习等方面的研究，尤其在视觉显著性检测以及图像视频语义理解等方面取得一系列重要的研究成果，形成较为完整的研究体系。迄今为止，已经累计发表论文150余篇，其中包括CCF A类/中科院一区论文70篇，包括TPAMI, IJCV, TNNLS, TIP, TMM, TCYB, CVPR，ICCV，ICML，AAAI，IJCAI，ACM MM 等。获得吴文俊人工智能优秀青年奖、中国图象图形学会科学技术一等奖、ACM中国新星提名奖、计算机视觉顶级会议ICCV2019最佳论文提名奖、ICMR2022最佳Poster论文奖等荣誉。目前担任CCF YOSCEF广州AC委员，CCF计算机视觉专委会委员，CSIG视觉大数据专委会委员，VALSE执行AC，多次受邀在各大学术论坛及企业做学术报告，相关工作被同行学者多次引用和评价，Google Scholar引用超过6600次。在图像视频显著物体检测方面，曾连续四年以第一作者身份在计算机视觉顶级会议CVPR上发表论文四篇，在该研究领域形成一定的影响力。目前主持广东省杰出青年基金、国家自然科学基金青年项目、国家自然科学基金面上项目、国家自然科学联合基金、华为科技有限公司委托开发项目、CCF-腾讯犀牛鸟科研基金、美团北斗科研课题合作基金、商汤青年科研基金、中山大学青年教师培育等多项科研项目。担任The Visual Computer期刊编委，TPAMI、IJCV、TIP、TNNLS、TMM、TCYB、TOG等权威期刊的审稿人，CVPR、ICCV、IJCAI、AAAI等国际会议程序委员会委员，VISAPP2019领域主席，NCIG2020竞赛主席。

王昌淼，深圳市大数据研究院和国家健康医疗大数据研究院（深圳）副研究员，2018年毕业于中国科学院大学模式识别与智能系统专业，2020年香港中文大学（深圳）博士后，广东省“珠江人才计划”创新团队“数据驱动的未来智能网络演进”技术骨干。王博士主要从事于智能视觉医疗影像分析、计算机辅助诊疗、计算机视觉和深度学习等方面的研究。担任AAAI 2023和2024程序委员会委员（ Program Committee Member）以及其他国际顶级（CCF A类）会议（包括MICCAI）的审稿人，并受邀担任多个国际顶级期刊审稿人，目前为中国计算机学会（CCF）会员，中国图象图形学学会（CSIG）学会会员，广东省生物医学工程学会智能医学影像分会委员。近年来主持广东省自然科学基金粤深联合基金青年基金项目，参与国家自然科学基金4项、国家重点研发计划“宽带通信和新型网络”重点专项项目和广东省重点研发计划“类脑智能关键技术及系统研究”科研项目。

刘斯奇博士现为深圳大数据研究院医疗大数据实验室研究科学家。他在中山大学获得学士学位，后赴香港浸会大学深造，于2021年获计算机科学博士学位并继续博士后研究工作至2022年。刘斯奇博士在2014年于京都大学进行访问交流。他的研究兴趣包括胃肠镜影像分析，病例图像分析等医学影像分析相关方向，生物识别安全，计算机视觉和深度学习。他在ECCV, AAA, IJCAI, IEEE TIFS 等计算机视觉与模式识别领域顶级会议和期刊发表文章数篇，并连续担任CVPR、ICCV、ECCV、ICLR、AAAI、IJCAI、WACV、IEEE TPAMI、TIP、TIFS、TDSC、TBIOM等顶级会议和期刊审稿人。