近日，由软件学院硕士研究生沈明贺（导师：干红平）以第一作者，完成的2篇高水平研究论文“TransCS: A Transformer-Based Hybrid Architecture for Image Compressed Sensing”和“From Patch to Pixel: A Transformer-Based Hierarchical Framework for Compressive Image Sensing”分别被国际顶级学术期刊IEEE TIP和计算成像领域权威期刊IEEE TCI在线发表。

IEEE TIP全称为IEEE 图像处理汇刊（IEEE Transactions on Image Processing）,是中科院 SCI期刊分区大类分区一区TOP期刊、中国计算机学会CCF推荐的计算机图形学与多媒体领域的三大A类期刊之一，2022年影响因子为11.04。IEEE TCI全称为IEEE计算成像汇刊（IEEE Transactions on Computational Imaging），是专注于计算成像的权威学术期刊，JCI分区Q1，中科院二区SCI。

在“TransCS: A Transformer-Based Hybrid Architecture for Image Compressed Sensing”文章（IEEE TIP）中，作者提出了一种基于Transformer的图像压缩感知架构TransCS。在采样模块中，TransCS采用了可训练的感知矩阵策略，通过学习自然图像的先验结构信息来获得更好的图像重建质量。受到稀疏性诱导的启发，在重建模块中设计了一种基于迭代收缩阈值算法ISTA的Transformer架构，对图像子块之间的全局依赖性进行建模，并通过梯度下降和软阈值操作迭代恢复原始图像。实验结果表明，与其他最先进的方法相比，所提出的TransCS不仅具有较强的可解释性，而且在公共数据集上获得了高速的重建速度、更优越的图像重建质量和噪声鲁棒性。论文链接：https://ieeexplore.ieee.org/document/9934025

图1. TransCS主体架构

在“From Patch to Pixel: A Transformer-Based Hierarchical Framework for Compressive Image Sensing”文章（IEEE TCI）中，作者提出了一种基于Transformer的级联式图像压缩感知方法TCS-Net，该方法以级联的方式将Transformer作为特征提取器捕获自然图像的长距离特征，并最终建立精细的端到端图像压缩感知映射。该方法摆脱了固有的基于CNN的图像压缩感知模式，并取得了理想图像采样和恢复效果。论文链接：https://ieeexplore.ieee.org/document/10049603

图2. TCI论文部分内容展示

沈明贺同学系我院教师干红平副教授指导的20级研究生。近年来，干红平老师主要力于智能信息处理方面的研究，主要研究方向包括：图像处理、计算机视觉、数据安全、无人机防控安全等方面。在相关领域以第一作者/通信作者在顶级期刊（如TIP、TGRS、TCYB、TCI）和顶级会议（如CVPR）取得了一系列创新性研究成果。

（图文：沈明贺  审核：李晗、张龙）