|本期目录/Table of Contents|

[1]邢晓敏,刘 威*,陈 成.基于多尺度信息蒸馏的图像超分辨率算法[J].武汉工程大学学报,2024,46(06):663-670.[doi:10.19843/j.cnki.CN42-1779/TQ.202306006]
　XING Xiaomin,LIU Wei*,CHEN Cheng.Image super-resolution algorithm based on multi-scale information distillation[J].Journal of Wuhan Institute of Technology,2024,46(06):663-670.[doi:10.19843/j.cnki.CN42-1779/TQ.202306006]
点击复制

基于多尺度信息蒸馏的图像超分辨率算法
(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
46
期数:
2024年06期
页码:
663-670
栏目:
机电与信息工程
出版日期:
2024-12-31

文章信息/Info

Title:
Image super-resolution algorithm based on multi-scale information distillation
文章编号:
1674 - 2869（2024）06 - 0663 - 08
作者:
1. 武汉交通职业学院电子与信息工程学院，湖北 武汉 430065；
2. 武汉工程大学计算机科学与工程学院，湖北 武汉 430205
Author(s):
1. School of Electronics and Information Engineering，Wuhan Technical College of Communications，Wuhan 430065，China；
2. School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China
关键词:
Keywords:
分类号:
TP391.41
DOI:
10.19843/j.cnki.CN42-1779/TQ.202306006
文献标志码:
A
摘要:
针对卷积神经网络复杂的框架和大量的计算导致基于深度学习的图像超分辨率算法在如卫星导航系统等边缘设备上部署难的问题，提出一种新颖的多尺度信息蒸馏网络（MSIDN）重建超分辨率图像。该网络应用多阶段的策略逐步恢复出高质量的超分辨率图像，每一阶段由多尺度信息蒸馏编解码模块（MIDCB）组成。MIDCB在编码阶段对特征通道执行切分编码，能够保留浅层信息并提取有效的高频信号；而解码阶段通过增强高频信号，并使用通道注意力融合切分通道的编解码特征。MSIDN从MIDCB中学习更具辨识力的高频特征表达以及结构内容信息，不仅提高超分辨率网络的重建效果，同时也满足网络结构的轻量化。在4个公开数据集Set5、Set14、BSD100和Urban100上进行4倍放大实验，结果显示，峰值信噪比相比于增强深度残差超分辨率算法分别提升了0.89、0.02、0.01和0.34 dB，重建后图像的内容结构、边缘纹理优于其他主流超分辨率算法，证明MSIDN在单幅图像超分辨率重建中的优越性。
Abstract:
To address the challenge of deploying image super-resolution algorithms based on deep learning on edge devices such as satellite navigation systems，due to the complexity of convolutional neural network frameworks and extensive computations， a novel multi-scale information distillation network （MSIDN） was proposed to reconstruct super-resolution images. This network utilizes a multi-stage strategy to progressively restore high-quality super-resolution images， with each stage composed of multi-scale information distillation coding-decode modules （MIDCB）. In the encoding phase， MIDCB performs channel-wise split encoding on feature channels to retain shallow information and extract effective high-frequency signals. In the decoding phase， it enhances high-frequency signals and employs channel attention to merge the coding-decoding features of split channels. MSIDN learns more discriminative high-frequency feature representations and structural content information from MIDCB， not only enhancing the reconstruction performance of the super-resolution network but also meeting lightweight network structures. Conducting 4x magnification experiments on four public datasets including Set5， Set14， BSD100， and Urban100， the results showed an increase of 0.89， 0.02， 0.01， and 0.34 dB in peak signal-to-noise ratio compared to the enhanced deep residual super-resolution algorithm， respectively. The reconstructed images exhibited superior content structure and edge textures compared to other mainstream super-resolution algorithms， demonstrating the superiority of MSIDN in single-image super-resolution reconstruction.

参考文献/References:

［1］ 汪家明， 卢涛. 多尺度残差深度神经网络的卫星图像超分辨率算法［J］. 武汉工程大学学报， 2018， 40（4）： 440-445.
［2］ SAJJADI M S M， SCH?LKOPF B， HIRSCH M. EnhanceNet： single image super-resolution through automated texture synthesis［C］// 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE， 2017： 4491-4500.
［3］ 卢涛， 章瑾， 陈白帆， 等. 多尺度自适应配准的视频超分辨率算法［J］. 武汉工程大学学报， 2016， 38（2）： 178-184.
［4］ 石涵瑜， 迟洁茹， 何理文， 等. 基于融合网络的医学图像超分辨率研究［J］. 计算机仿真， 2023， 40（3）： 224-227.
［5］ ULYANOV D， VEDALDI A， LEMPITSKY V. Deep image prior［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9446-9454.
［6］ ZHANG L， WU X L. An edge-guided image interpolation algorithm via directional filtering and data fusion［J］. IEEE Transactions on Image Processing， 2006， 15（8）： 2226-2238.
［7］ DONG W S， ZHANG L， SHI G M， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization［J］. IEEE Transactions on Image Processing， 2011， 20（7）： 1838-1857.
［8］ DONG C， LOY C C， HE K M， et al. Image super-resolution using deep convolutional networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 38（2）： 295-307.
［9］ KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2016： 1646-1654.
［10］ 李厚霖， 胡亚琦. 级联与多重残差的图像超分辨率重建［J］. 计算机仿真， 2023， 40（3）： 263-268.
［11］ 时维国， 王佳依. 多分支残差注意力机制融合的图像超分辨率重建［J］. 大连交通大学学报， 2023， 44（3）： 103-108，112.
［12］ LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE， 2017： 136-144.
［13］ ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks［C］// Computer Vision-ECCV 2018. Berlin： Springer， 2018： 294-310.
［14］ 卢正浩， 刘丛. 多尺度特征复用混合注意力网络的图像重建［J］. 中国图象图形学报， 2021， 26（11）： 2645-2658.
［15］ 王万军， 丁新涛， 刘朝， 等. 基于多尺度联合网络的图像超分辨率重建方法［J］. 计算机工程与科学， 2023， 45（4）： 683-690.
［16］ HUI Z， WANG X M， GAO X B. Fast and accurate single image super-resolution via information distillation network［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 723-731.
［17］ HUI Z， GAO X B， YANG Y C， et al. Lightweight image super-resolution with information multi-distillation network ［C］//Proceedings of the 27th ACM International Conference on Multimedia. New York： Association for Computing Machinery， 2019： 2024-2032.
［18］ 李明鸿， 常侃， 李恒鑫， 等. 双阶段信息蒸馏的轻量级图像超分辨率网络［J］. 中国图象图形学报， 2021， 26（5）： 991-1005.
［19］ 李航宇， 玄祖兴， 周建平， 等. 信息蒸馏与异构上采样的眼底图像超分辨重建［J］. 计算机工程与应用， 2022， 58（23）： 238-244.
［20］ LIU J， TANG J， WU G S. Residual feature distillation network for lightweight image super-resolution［C］//Computer Vision-ECCV 2020 Workshops. Berlin： Springer， 2020： 41-55.
［21］ TIMOFTE R， AGUSTSSON E， VAN GOOL L， et al. NTIRE 2017 challenge on single image super-resolution： methods and results［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway： IEEE， 2017： 114-125.
［22］ BEVILACQUA M， ROUMY A， GUILLEMOT C， et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding［C］//British Machine Vision Conference. Durham： BMVA Press， 2012： 135.
［23］ ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations［C］//Curves and Surfaces： 7th International Conference. Berlin： Springer， 2012： 711-730.
［24］ ARBELAEZ P， MAIRE M， FOWLKES C， et al. Contour detection and hierarchical image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 33（5）： 898-916.
［25］ HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2015： 5197-5206.
［26］ WANG L G， WANG Y Q， DONG X Y， et al. Unsupervised degradation representation learning for blind super-resolution［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2021： 10581-10590.
［27］ LI F， WU Y X， BAI H H， et al. Learning detail-structure alternative optimization for blind super-resolution［J］. IEEE Transactions on Multimedia， 2023， 25： 2825-2838.

相似文献/References:

[1]汪家明,卢　涛*.多尺度残差深度神经网络的卫星图像超分辨率算法[J].武汉工程大学学报,2018,40(04):440.[doi:10. 3969/j. issn. 1674?2869. 2018. 04. 018]
　WANG Jiaming,LU Tao *. Satellite Imagery Super-Resolution Algorithm via Multi-Scale Residual Deep Neural Network[J].Journal of Wuhan Institute of Technology,2018,40(06):440.[doi:10. 3969/j. issn. 1674?2869. 2018. 04. 018]
[2]张苏沛,刘　军*,肖澳文,等.基于卷积神经网络的验证码识别[J].武汉工程大学学报,2019,(01):89.[doi:10. 3969/j. issn. 1674?2869. 2019. 01. 015]
　ZHANG Supei,LIU Jun*,XIAO Aowen,et al.CAPTCHA Recognition Based on Convolutional Neural Network[J].Journal of Wuhan Institute of Technology,2019,(06):89.[doi:10. 3969/j. issn. 1674?2869. 2019. 01. 015]
[3]肖澳文,刘　军*,张苏沛,等.基于CNN的三维人体姿态估计方法[J].武汉工程大学学报,2019,(02):168.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 013]
　XIAO Aowen,LIU Jun*,ZHANG Supei,et al.Three-Dimensional Human Pose Estimation Based on Convolution Neural Network[J].Journal of Wuhan Institute of Technology,2019,(06):168.[doi:10. 3969/j. issn. 1674?2869. 2019. 02. 013]
[4]陈希彤,卢　涛*.基于全局深度分离卷积残差网络的高效人脸识别算法[J].武汉工程大学学报,2019,(03):276.[doi:10. 3969/j. issn. 1674-2869. 2019. 03. 014]
　CHEN Xitong,LU Tao *.Efficient Face Recognition Algorithm Using Global Deep Separable Convolutional and Residual Network[J].Journal of Wuhan Institute of Technology,2019,(06):276.[doi:10. 3969/j. issn. 1674-2869. 2019. 03. 014]
[5]王丽亚,刘昌辉*,蔡敦波,等.基于CNN-BiLSTM网络引入注意力模型的文本情感分析[J].武汉工程大学学报,2019,(04):386.[doi:10. 3969/j. issn. 1674?2869. 2019. 04. 016]
　WANG Liya,LIU Changhui*,CAI Dunbo,et al.Text Sentiment Analysis Based on CNN-BiLSTM Network and Attention Model[J].Journal of Wuhan Institute of Technology,2019,(06):386.[doi:10. 3969/j. issn. 1674?2869. 2019. 04. 016]
[6]熊寒颖,鲁统伟*,闵　峰,等.基于单一神经网络的实时人脸检测[J].武汉工程大学学报,2019,(05):489.[doi:10. 3969/j. issn. 1674?2869. 2019. 05. 015]
　XIONG Hanying,LU Tongwei*,MIN Feng,et al.Real-Time Face Detection Based on Single Neural Network[J].Journal of Wuhan Institute of Technology,2019,(06):489.[doi:10. 3969/j. issn. 1674?2869. 2019. 05. 015]
[7]杜梦星,王彦伟*.基于CNN的突发事件预警系统的设计与实现[J].武汉工程大学学报,2020,42(02):207.[doi:10.19843/j.cnki.CN42-1779/TQ.201910016]
　DU Mengxing,WANG Yanwei*.Design and Implementation of Emergency Warning System Based on Convolution Neural Network[J].Journal of Wuhan Institute of Technology,2020,42(06):207.[doi:10.19843/j.cnki.CN42-1779/TQ.201910016]
[8]江满星,赵彤洲*,吴泽俊.基于目标形状卷积神经网络在舰船分类中的应用[J].武汉工程大学学报,2020,42(02):213.[doi:10.19843/j.cnki.CN42-1779/TQ.201911022]
　JIANG Manxing,ZHAO Tongzhou*,WU Zejun.Application of Convolution Neural Network Based on Target Shape in Ships and Warships Classification[J].Journal of Wuhan Institute of Technology,2020,42(06):213.[doi:10.19843/j.cnki.CN42-1779/TQ.201911022]

备注/Memo

备注/Memo:
收稿日期：2023-06-10
基金项目：国家自然科学基金（62001334）；湖北省科技计划项目（2021BLB172）；中国交通运输共建共享课题（ZYKC202035）
作者简介：邢晓敏，硕士，副教授。Email：[email protected]
*通信作者：刘 威，博士，副教授。Email：[email protected]
引文格式：邢晓敏， 刘威， 陈成. 基于多尺度信息蒸馏的图像超分辨率算法［J］. 武汉工程大学学报，2024，46（6）：663-670.
更新日期/Last Update: 2024-12-31