近日，国家自然科学基金委员会公布了首批国家自然科学基金青年学生基础研究项目（博士研究生）的资助名单。MILab博士生朱磊申请的项目“多模态特征索引表驱动的医学影像处理与分析机制研究”正式获批。
多模态医学影像智能化处理与分析在推动个性化诊疗及精准医疗方面有着重要作用。受限于我国医疗资源分布不均及较为匮乏的医务人员数量，如何通过非配对的医学文本信息与影像数据开展基于大语言模型的医学影像自动处理与分析是当前医学人工智能领域热点与难点问题。获批项目拟开展多模态视觉索引表驱动的医学影像处理与分析研究，以在无需依赖完备配对多模态信息监督的情况下，通过研究多模态医学特征索引表及其编解码模型的构建策略，将多模态影像信息转化为一系列文本描述，进而直接驱动生成式大语言模型，在上下文学习策略的指导下对多模态医学影像进行理解分析与处理增强。本项目的实施将有效提升多模态医学影像处理与分析效率与性能，为破解多模态对齐配对数据获取难题、探究生成式大语言模型用于医学人工智能领域相关应用提供新方法与新思路。
据悉，青年学生基础研究项目（博士研究生）为国家自然科学基金委在2023年首次试点，通过支持博士研究生自主选题，着力培养其独立开展科学研究的能力，提升科学素养，为构建高水平研究队伍提供高质量人才储备。项目在试点期间采用“推荐+评审”制，由北京大学、清华大学等高水平院校推荐候选人，国家自然科学基金委组织通讯评审和会议评审后确定资助名单。朱磊同学申报的项目是所在学院唯一获得资助的项目。
添加评论