北京理工大学在高光谱视频成像研究方面获得重要进展
【蜂耘网 激光光学】近日,北京理工大学光电学院王涌天教授、刘越教授团队成员徐怡博教授与来自谷歌公司和美国莱斯大学研究人员合作,开发了一种具有优异压缩比和吞吐量的基于单像素光电探测器的高光谱视频成像系统,成果发表于Nature Communications 15, 1456 (2024)(标题为:A compressive hyperspectral video imaging system using a single-pixel detector)。
徐怡博教授为论文第一作者兼通讯作者,谷歌公司陆李阳博士、莱斯大学Saragadam 博士和Kevin Kelly博士也对此工作做出了贡献。高光谱视频成像捕获场景的精细空间、光谱和时间信息,在生物荧光成像、遥感、监控、自动驾驶等领域中具有广泛应用。高光谱视频数据量极大,现有方法记录高维数据时占用大量传输带宽和存储空间,给无人机、手机、行星探测器和卫星等资源受限系统带来巨大压力。
如何在保留信息的前提下最大限度减少采样数据量、大幅提升采样压缩比是高光谱视频成像中的关键问题。该研究利用四维高光谱视频的高度可压缩性,设计一种空间-光谱联合编码方案,提出基于四维空间信号稀疏度模型的优化重建和深度学习重建方法,实现了基于单像素探测器、可在低带宽下实现高通量的高光谱视频成像系统。如图1,优化重建方法先从包含互补图案的原始测量中重建灰度视频并提取光流,然后通过光流辅助四维全变分正则化优化方法实现高光谱视频重建。
图1.光流辅助四维全变分正则化高光谱视频重建过程示意图与流程图实验中重建视频空间大小为128 × 128,具有64个光谱频道,帧率约4帧/秒,压缩比约为900:1。
图2展示从重建的高光谱频帧中均匀选取16帧并转换为人工RGB图像,与彩色相机记录的画面对比,可见实现了高精度的重建。
图2.单像素成像实验优化算法重建结果
图3.高光谱视频重建的深度学习方法示意图
如图3,深度学习重建方法由两个阶段组成。先基于长短期记忆(LSTM)网络的模型利用5个相邻帧之间的时间相关性,从“结构化随机”编码测量中重建灰度视频。
再基于残差连接的卷积神经网络(CNN)的高光谱重建网络,从深度空间-光谱联合压缩测量值及第一阶段的灰度视频中恢复高光谱帧。如表1所示,对比基于两种方法重建高光谱帧的时间,可见深度学习方法在重建速度上有显著的提升。
表1.基于四维全变分的优化方法和深度学习方法的重构时间论文链接:https://www.nature.com/articles/s41467-024-45856-1
(蜂耘激光光学网 责任编辑:行云)
近日,北京理工大学光电学院王涌天教授、刘越教授团队成员徐怡博教授与来自谷歌公司和美国莱斯大学研究人员合作,开发了一种具有优异压缩比和吞吐量的基于单像素光电探测器的高光谱视频成像系统,成果发表于Nature Communications 15, 1456 (2024)(标题为:A compressive hyperspectral video imaging system using a single-pixel detector)。
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2022-08-25
- 2022-10-24
- 2022-10-13
- 2022-09-30
- 2023-03-29
- 2022-10-18
- 2022-11-17
- 2022-10-25
-
一文了解查理·芒格:为什么他是巴菲特最推崇的人
来源:
①巴菲特写道,“如果没有查理的灵感、智慧和参与,伯克希尔-哈撒韦公司不可能发展到今天的地位”;
②芒格曾表示,“如果世上未曾有过查理·芒格这个人,巴菲特的业绩依然会像现在这么漂亮 ”
③两周前,芒格还公开在节目中维护93岁的老友巴菲特。넶31 2023-11-29 -
面壁者,拉里·佩奇
来源:中欧商业评论
这两年,硅谷钢铁侠埃隆·马斯克在社交媒体上口无遮拦,这为他的公司引来了铺天盖地的负面新闻,然而,他的好友、谷歌联合创始人拉里·佩奇却因为看不到人同样被媒体炮轰多时。他已经在公共视野中消失太久了。넶137 2022-06-15 -
百岁中科院院士文圣常逝世!被誉为我国海浪研究的“点灯人”
来源:南方都市报
3月21日上午,中国海洋大学发布讣告,中国科学院院士、著名物理海洋学家、该校教授文圣常,因病医治无效,于3月20日15时37分在山东青岛逝世,享年101岁。넶164 2022-03-21
-
2023人工智能产业生态峰会(深圳站)即将举行!
来源:蜂耘网
本届大会以“产业变革 · 抓住机遇”为主题,聚焦国内人工智能的最新技术理念与解决方案,邀请众多行业大咖、专家学者分享最新的研究成果、技术、解决方案、行业报告、未来发展趋势等。넶155 2023-07-04 -
物流“黑科技”全力竞发 中国(广州)国际物流装备与技术展览会5月强势来袭!
来源:蜂耘网
立足华南联通世界,物流“黑科技”全力竞发!中国(广州)国际物流装备与技术展览会5月强势来袭!넶80 2023-05-05 -
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28
- 2024-04-28