显微镜秒变高清相机 复旦团队造“实验神器”
【蜂耘网 激光光学】“不用最昂贵的镜头,也能拍出高清照片”,近年来,面对人们快速增加的影像清晰度需求,众多手机、数码相机厂商不断探索如何在控制成本的情况下,使用AI模型进一步提升像素级。这一次,同样的技术理念,却被复旦大学计算机科学技术学院教授颜波带领的团队迁移到了生命科学实验室里的常用研究工具“荧光显微镜”上。
4月12日,科学期刊《自然-方法》(Nature Methods)以《基于广义荧光显微镜的图像恢复的预训练基础模型》(Pre-training a Foundation Model for Generalizable Fluorescence Microscopy-Based Image Restoration)为题刊发团队成果,他们发明的跨任务、多维度图像增强基础AI模型(UniFMIR),实现了对现有荧光显微成像极限的突破。
何为荧光显微镜?这类显微镜利用部分物质受紫外线照射后可发荧光的特性,以及通过染色让本不具有该特性的物质发出荧光,可以观察细胞内物质的吸收、运输、化学物质的分布及定位等。在分辨率方面,它远超普通光学显微镜0.2微米极限,到达观测分子的纳米尺度,是生命科学领域不可或缺的研究工具。自2006年横空出世,荧光显微镜已帮助全球科学家研制出了对帕金森氏症、阿尔茨海默氏症和亨廷顿氏症等神经退行性疾病更有针对性的治疗方法。
尽管荧光显微镜的观测分辨率已达到纳米尺度,但科学家们并不满足于此。由于显微镜光学硬件和生物样本光敏感性(在荧光照射下,生物活性降低)带来的挑战,过去几年中,生命科学和计算机领域的科学家们开始携手探索用AI的路径来增强图像质量的办法。然而,成像模式多样、降质类型复杂、增强过程迥异等一系列问题,使得这一任务极具挑战性,于是,大多数科学家选择“每次解决一个问题”,聚焦于研制针对单一需求的“专有”AI模型。
来自复旦大学的这支AI for Science团队则选择直击挑战,以“一站式集成”为目标,直接构建了首个“统一”的荧光显微镜图像增强AI基础模型(UniFMIR),大幅提升在“图像超分辨率重构、各向同性重构、3D去噪、图像投影和过程重建”五大任务方向上的性能。
UniFMIR采用了基于Swin Transformer结构的特征增强模块来增强特征表示,针对不同任务的网络流程共享相同的特征增强计算。通过收集的大规模数据集对模型进行预训练,并使用不同图像增强任务的数据微调模型参数,UniFMIR展现出比专有模型更好的增强性能和泛化性。
这意味着,加载了UniFMIR的荧光显微镜可能成为生命科学实验室中的“神器”。科学家们能更清晰地观察到活细胞内部的微小结构和复杂过程,加速全球生命科学、医学研究、疾病诊断相关领域的科学发现和医疗创新;同时,在半导体制造、新材料研发等领域,该成果可以用来提升观察和分析材料微观结构的质量,从而优化制造工艺和提高产品质量。
UniFMIR的成功研发标志着我国在关键科学仪器领域“国产设备+基础模型”的组合能有效减少对进口设备的依赖,也为全球科研领域的进步贡献了中国智慧和力量。“这次我们想到把AI 图像增强技术应用于荧光显微镜上,并构建UniFMIR,出发点就是AI for Science。我们的模型为荧光显微镜图像增强提供了一个通用的解决方案,通过简单的参数微调便可应用于不同任务、成像模式和生物结构。未来,生命科学实验室的科学家们可通过进一步扩展训练数据的数据量和丰富度来不断强化UniFMIR的图像重构能力。”颜波对UniFMIR被用于更多类型实验的可能性充满信心。
该项研究由复旦大学计算机科学技术学院数字媒体实验室完成。实验室博士后马晨曦博士和青年研究员谭伟敏博士为该工作的共同第一作者,颜波为通讯作者,其他作者还包括实验室博士生何瑞安。该研究工作得到国家自然科学基金委和上海市科委项目资助。
(蜂耘激光光学网 责任编辑:行云)
近年来,面对人们快速增加的影像清晰度需求,众多手机、数码相机厂商不断探索如何在控制成本的情况下,使用AI模型进一步提升像素级。这一次,同样的技术理念,却被复旦大学计算机科学技术学院教授颜波带领的团队迁移到了生命科学实验室里的常用研究工具“荧光显微镜”上。
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
-
石墨烯应用新成果“落地”镇海!防腐新材料实现新突破
来源:镇海新闻
4月26日,镇海石墨烯产业应用又迎来一“新星”——致力于研发石墨烯改性重防腐涂料的宁波云涂新材料科技有限公司(以下简称“云涂新材”),在国家石墨烯创新中心研发设计中心(富邦园区)正式落地开业。作为国家石墨烯创新中心重点孵化项目之一,云涂新材的成立,也为镇海新质生产力的培育与突破,注入了来自石墨烯新材料的强劲动能。2024-04-30
-
广元:推动一批重大铝基新材料项目来广落户
30日,广元市人民政府新闻办公室召开了“2024年中国(广元)绿色铝产业发展大会新闻发布会”。在新闻发布会上,广元市人民政府副市长吴勇通报:由中国有色金属加工工业协会和广元市人民政府共同举办,以“拥抱绿色·铝创未来”为主题的“2024年中国(广元)绿色铝产业发展大会”将于5月9日至11日在该市举行。
2024-04-30
- 2022-08-25
- 2022-10-24
- 2022-10-13
- 2022-09-30
- 2022-10-18
- 2023-03-29
- 2022-11-17
- 2022-10-25
-
一文了解查理·芒格:为什么他是巴菲特最推崇的人
来源:
①巴菲特写道,“如果没有查理的灵感、智慧和参与,伯克希尔-哈撒韦公司不可能发展到今天的地位”;
②芒格曾表示,“如果世上未曾有过查理·芒格这个人,巴菲特的业绩依然会像现在这么漂亮 ”
③两周前,芒格还公开在节目中维护93岁的老友巴菲特。넶31 2023-11-29 -
面壁者,拉里·佩奇
来源:中欧商业评论
这两年,硅谷钢铁侠埃隆·马斯克在社交媒体上口无遮拦,这为他的公司引来了铺天盖地的负面新闻,然而,他的好友、谷歌联合创始人拉里·佩奇却因为看不到人同样被媒体炮轰多时。他已经在公共视野中消失太久了。넶138 2022-06-15 -
百岁中科院院士文圣常逝世!被誉为我国海浪研究的“点灯人”
来源:南方都市报
3月21日上午,中国海洋大学发布讣告,中国科学院院士、著名物理海洋学家、该校教授文圣常,因病医治无效,于3月20日15时37分在山东青岛逝世,享年101岁。넶164 2022-03-21
-
2023人工智能产业生态峰会(深圳站)即将举行!
来源:蜂耘网
本届大会以“产业变革 · 抓住机遇”为主题,聚焦国内人工智能的最新技术理念与解决方案,邀请众多行业大咖、专家学者分享最新的研究成果、技术、解决方案、行业报告、未来发展趋势等。넶157 2023-07-04 -
物流“黑科技”全力竞发 中国(广州)国际物流装备与技术展览会5月强势来袭!
来源:蜂耘网
立足华南联通世界,物流“黑科技”全力竞发!中国(广州)国际物流装备与技术展览会5月强势来袭!넶80 2023-05-05 -
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30
- 2024-04-30