|本期目录/Table of Contents|

[1]朱柏霖,卢 涛*,王依伊,等.实际场景人脸超分辨率算法综述[J].武汉工程大学学报,2024,46(05):564-573.[doi:10.19843/j.cnki.CN42-1779/TQ.202211016]
　ZHU Bolin,LU Tao*,WANG Yiyi,et al.Review of real-world face super-resolution algorithms[J].Journal of Wuhan Institute of Technology,2024,46(05):564-573.[doi:10.19843/j.cnki.CN42-1779/TQ.202211016]
点击复制

实际场景人脸超分辨率算法综述(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
46
期数:
2024年05期
页码:
564-573
栏目:
机电与信息工程
出版日期:
2024-10-28

文章信息/Info

Title:
Review of real-world face super-resolution algorithms
文章编号:
1674 - 2869（2024）05 - 0564 - 10
作者:
朱柏霖; 卢 涛*; 王依伊; 饶茜雅; 赵康辉; 张彦铎
武汉工程大学计算机科学与工程学院，湖北 武汉 430205
Author(s):
ZHU Bolin; LU Tao*; WANG Yiyi; RAO Xiya; ZHAO Kanghui; ZHANG Yanduo
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China
关键词:
人脸超分辨率; 实际场景; 深度学习; 降质过程
Keywords:
face super-resolution;  real-world;  deep learning;  degradation process
分类号:
TP391.4
DOI:
10.19843/j.cnki.CN42-1779/TQ.202211016
文献标志码:
A
摘要:
人脸超分辨率能够有效提高低分辨率人脸图像的分辨率和质量，因而在视频监控、刑事侦查、娱乐等领域得到了广泛应用。然而实际场景中成像系统、记录设备、传输介质和处理方法不完善，导致噪声、模糊等降低图像质量的多种降质过程以不规则的方式组合，仅假设明确的降质过程来训练网络模型无法满足实际应用需求。针对这些实际场景中人脸超分辨率存在的多样化降质过程，分别介绍了非盲降质人脸超分辨率技术和盲降质超分辨率技术原理、人脸超分辨率领域常用的数据集和评价指标以及代表性工作的主客观重建结果。未来相关研究应聚焦多模态信息决策融合和张量融合，提升重建图像特征维度和时域相似性；通过大规模预训练和对抗学习等，提升模型泛化能力；研究身份一致性算法以及迁移学习等技术对处理复杂成像条件的影响。
Abstract:
Face super-resolution enhances resolution and quality of low-resolution facial images， finding wide applications in fields of video surveillance， criminal investigation， and entertainment. However， in real-world scenarios， imperfect imaging systems， recording equipment， transmission media， and processing methods resulted in irregular combinations of degradation processes that reduce image quality， like noise and blurring. Training network models based on explicit degradation processes alone cannot meet practical needs. This paper reviews the principles of non-blind and blind face super-resolution techniques， the commonly used datasets and evaluation metrics and the subjective and objective reconstruction results of representative works in the field of face super-resolution. Future related researches should focus on multi-modal information decision fusion and tensor fusion to improve the feature dimension and temporal similarity of the reconstructed images； enhance the generalization ability of the model through large-scale pre-training and adversarial learning； investigate the impact of identity consistency algorithms and technologies such as transfer learning on complex imaging conditions.

参考文献/References:

［1］ 刘长新，吴宁，胡俐蕊，等.基于递归门控卷积的遥感图像超分辨率研究［J］.计算机科学，2024，51（2）：205-216.

［2］ 李嫣，任文琦，张长青，等.基于真实退化估计与高频引导的内窥镜图像超分辨率重建［J］.自动化学报，2024，50（2）：334-347.
［3］ 江俊君，程豪，李震宇，等.深度学习视频超分辨率技术综述［J］.中国图象图形学报，2023，28（7）：1927-1964.
［4］ JIANG J J， WANG C Y， LIU X M， et al. Deep learning-based face super-resolution： a survey［J］. ACM Computing Surveys， 2023， 55（1）：13.
［5］ 卢涛，章瑾，陈白帆，等.多尺度自适应配准的视频超分辨率算法［J］.武汉工程大学学报，2016，38（2）：178-184，194.
［6］ 郭婷，张天序，郭诗嘉.一种红外图像和宽光谱融合的人脸识别算法［J］.武汉工程大学学报，2022，44（3）：320-324.
［7］ BAKER S， KANADE T. Hallucinating faces［C］//Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway， NJ： IEEE， 2000： 83-88.
［8］ LIU C， SHUM H Y， ZHANG C S. A two-step approach to hallucinating faces： global parametric model and local nonparametric model［C］// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2001.
［9］ YANG J C， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation［J］. IEEE Transactions on Image Processing， 2010， 19（11）：2861-2873.
［10］ KIM K I， KWON Y. Single-image super-resolution using sparse regression and natural image prior［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（6）： 1127-1133.
［11］ WANG Z Y， HAN Z， HU R M， et al. Noise robust face hallucination employing Gaussian-Laplacian mixture model［J］. Neurocomputing， 2014， 133：153-160.
［12］ CHANG H， YEUNG D Y，XIONG Y M， et al. Super-resolution through neighbor embedding［C］// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2004.
［13］ ZHOU E， FAN H Q， CAO Z M， et al. Learning face hallucination in the wild［C］//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. Palo Alto， CA：Association for the Advancement of Artificial Intelligence，2015：3871-3877.
［14］ HUANG H B， HE R， SUN Z N， et al. Wavelet-SRNet： a wavelet-based CNN for multi-scale face super resolution［C］//2017 IEEE International Conference on Computer Vision. Los Alamitos， CA： IEEE Computer Society， 2017： 1699-1706.
［15］ GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial net［C］//Proceedings of the 27th International conference on Neural Information Processing Systems. Cambridge， MA：MIT press，2014：2672-2680.
［16］ CAI J C， HAN H， SHAN S G， et al. FCSR-GAN： joint face completion and super-resolution via multi-task learning［J］. IEEE Transactions on Biometrics， Behavior， and Identity Science，2020，2（2）：109-121.
［17］ BULAT A， YANG J， TZIMIROPOULOS G. To learn image super-resolution， use a GAN to learn how to do image degradation first［C］//Computer Vision-ECCV 2018 Workshops. Switzerland：Springer，2018：187-202.
［18］ 程超月.基于先验信息的人脸超分辨率重建技术研究［D］. 北京：北京邮电大学，2021.
［19］ 邵奔.身份约束深度低分辨率人脸识别［D］. 武汉：中南民族大学，2021.
［20］ CHEN C F， GONG D H， WANG H， et al. Learning spatial attention for face super-resolution［J］. IEEE Transactions on Image Processing， 2020， 30： 1219-1231.
［21］ HUYNH-THU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment［J］. Electronics Letters， 2008， 44（13）： 800-801.
［22］ ZHANG M L， LING Q. Supervised pixel-wise GAN for face super-resolution［J］. IEEE Transactions on Multimedia， 2020， 23： 1938-1950.
［23］ 林旺庆.基于先验知识的人脸超分辨与基于样本扩充的低分辨率人脸识别方法研究［D］. 厦门：厦门大学，2020.
［24］ XIN J W， WANG N N， GAO X B， et al. Residual attribute attention network for face image super-resolution［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto， CA：AAAI Press，2019：9054-9061.
［25］ HE J J， ZHENG J J， SHEN Y， et al. Facial image synthesis and super-resolution with stacked generative adversarial network［J］. Neurocomputing， 2020， 402： 359-365.
［26］ WANG M X， CHEN Z X， WU Q M J， et al. Improved face super-resolution generative adversarial networks［J］. Machine Vision and Applications， 2020， 31： 22.
［27］ CHEN Z B， LIN J X， ZHOU T K， et al. Sequential gating ensemble network for noise robust multiscale face restoration［J］. IEEE Transactions on Cybernetics， 2021， 51（1）： 451-461.
［28］ NAGAR S， JAIN A， SINGH P K， et al. Pixel-wise dictionary learning based locality-constrained representation for noise robust face hallucination［J］. Digital Signal Processing， 2020， 99： 102667.
［29］ AAKERBERG A， NASROLLAHI K， MOESLUND T B. Real‐world super‐resolution of face‐images from surveillance cameras［J］. IET Image Processing， 2022， 16（2）： 442-452.
［30］ PANG Y， MAO J W， HE L B， et al. An improved face image restoration method based on denoising diffusion probabilistic models［J］. IEEE Access， 2024，12：3581-3596.
［31］ MIAO Y Q， DENG J K， HAN J G. WaveFace： authentic face restoration with efficient frequency recovery［Z/OL］. （2024-05-19）［2024-05-23］. https：//doi.org/10.48550/arXiv.2403.12760
［32］ TANG S Z， SHU Z Q. Mixed noise face hallucination via adaptive weighted residual and nuclear-norm regularization［J］. Applied Intelligence， 2023，53： 11979-11996.
［33］ 辛经纬. 面向视频监控的人脸图像超分辨率重建算法研究［D］. 西安：西安电子科技大学，2022.
［34］ XU Y， ZOU H Y， HUANG Y， et al. Super-resolving blurry face images with identity preservation［J］. Pattern Recognition Letters， 2021， 146： 158-164.
［35］ TU X G， ZHAO J， LIU Q K， et al. Joint face image restoration and frontalization for recognition［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（3）： 1285-1298.
［36］ LI X M， LIU M， YE Y T， et al. Learning warped guidance for blind face restoration［C］//Computer Vision-ECCV 2018. Switzerland： Springer，2018：278-296.
［37］ YANG L B， WANG P， GAO Z N， et al. Implicit subspace prior learning for dual-blind face restoration［Z/OL］. （2020-10-12）［2024-05-04］. https：//doi.org/10.48550/arXiv.2010.05508.
［38］ GUO X M， YI L， ZOU H， et al. Generative facial prior for large-factor blind face super-resolution［J］. Journal of Physics： Conference Series， 2021， 2078：012045.
［39］ TENG Z， YU X S， WU C D. Blind face restoration via multi-prior collaboration and adaptive feature fusion［J］. Frontiers in Neurorobotics， 2022， 16： 797231.
［40］ WANG Z X， ZHANG J W， CHEN T S， et al. Restoreformer++： towards real-world blind face restoration from undegraded key-value pairs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023，45（12）：15462-15476.
［41］ GE G J， SONG Q， ZHU G B， et al. BFRFormer： transformer-based generator for real-world blind face restoration［Z/OL］. （2024-02-29） ［2024-05-04］. https：//doi.org/10.48550/arXiv.2402.18811
［42］ YUE Z S， LOY C C. Difface： blind face restoration with diffused error contraction［Z/OL］. （2022-12-13）［2023-12-11］. https：//doi. org/10. 48550/arXiv. 2212.
06512
［43］ GAO J H， TANG N， ZHANG D X. A multi-scale deep back-projection backbone for face super-resolution with diffusion models［J］. Applied Sciences， 2023， 13（14）： 8110.
［44］ CHEN X X， TAN J F， WANG T， et al. Towards real-world blind face restoration with generative diffusion prior［Z/OL］. （2024-03-18）［2024-05-04］. http：// doi. org/10.485501arxiv.2312.15736.
［45］ YANG P Q， ZHOU S C， TAO Q Y， et al. PGDiff： guiding diffusion models for versatile face restoration via partial guidance［C］//Advances in Neural Information Processing Systems. 2023：32194-32214.
［46］ GAO N， LI J， HUANG H B， et al. DiffMAC： diffusion manifold hallucination correction for high generalization blind face restoration［Z/OL］. （2024-05-15） ［2024-05-23］. https： //doi. org/ 10. 48550/arXiv.2403.10098
［47］ XIA B， TIAN Y P， ZHANG Y L， et al. Meta-learning based degradation representation for blind super-resolution［J］. IEEE Transactions on Image Processing， 2023， 32： 3383-3396.
［48］ HU X C， ZHANG Z， SHAN C F， et al. Meta-USR：a unified super-resolution network for multiple degradation parameters［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（9）： 4151-4165.
［49］ 张凯兵，朱丹妮，王珍，等.超分辨图像质量评价综述［J］.计算机工程与应用，2019，55（4）：31-40，47.
［50］ WANG Z， BOVIK A C. A universal image quality index［J］. IEEE Signal Processing Letters， 2002， 9（3）： 81-84.
［51］ MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer［J］. IEEE Signal Processing Letters， 2013， 20（3）： 209-212.
［52］ GHAZANFARI S， GARG S， KRISHNAMURTHY P， et al. R-LPIPS： an adversarially robust perceptual similarity metric［Z/OL］. （2023-07-27）［2023-07-31］. https：//doi.org/10.48550/arXiv.2307.15157
［53］ STREIJL R C， WINKLER S， HANDS D S. Mean opinion score （MOS） revisited： methods and applications， limitations and alternatives［J］. Multimedia Systems， 2016， 22（2）： 213-227.
［54］ HEUSEL M， RAMSAUER H， UNTERTHINER T， et al. GANs trained by a two time-scale update rule converge to a local Nash equilibrium［C］//Advances in Neural Information Processing Systems 30 （NIPS 2017）. Red Hook， NY： Curran Associates Inc.， 2017： 6626-6640.
［55］ LIU Z W， LUO P， WANG X G， et al. Deep learning face attributes in the wild［C］//2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 3730-3738.
［56］ BELHUMEUR P N， JACOBS D W， KRIEGMAN D J， et al. Localizing parts of faces using a consensus of exemplars［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2930-2940.
［57］ K?STINGER M，WOHLHART P，ROTH P M， et al. Annotated facial landmarks in the wild： a large-scale， real-world database for facial landmark localization［C］//2011 IEEE International Conference on Computer Vision Workshops. Piscataway， NJ： IEEE Computer Society， 2011： 2144-2151.
［58］ LE V， BRANDT J， LIN Z， et al. Interactive facial feature localization［C］//Computer Vision-ECCV 2012. Berlin： Springer， 2012： 679-692.
［59］ ZHU X X， RAMANAN D. Face detection， pose estimation， and landmark localization in the wild［C］//2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 2879-2886.
［60］ HUANG H B， HE R， SUN Z N， et al. Wavelet domain generative adversarial network for multi-scale face hallucination［J］. International Journal of Computer Vision， 2019， 127（6/7）： 763-784.
［61］ YANG S， LUO P， LOY C C， et al. Wider face： a face detection benchmark［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 5525-5533.
［62］ WU W Y， QIAN C， YANG S， et al. Look at boundary： a boundary-aware face alignment algorithm［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE， 2018：2029-2138.
［63］ BULAT A， TZIMIROPOULOS G. Super-FAN： integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE， 2018：109-117.
［64］ LEE C H， ZHANG K P， LEE H C， et al. Attribute augmented convolutional neural network for face hallucination［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， CA： IEEE， 2018：834-842.
［65］ YANG T， REN P R， XIE X S， et al. GAN prior embedded network for blind face restoration in the wild［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE， 2021：672-681.
［66］ CHEN C F， LI X M， YANG L B， et al. Progressive semantic-aware style transformation for blind face restoration［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE，2021：11891-11900.
［67］ LI X M， CHEN C F， ZHOU S C， et al. Blind face restoration via deep multi-scale component dictionaries［C］// Computer Vision-ECCV 2020. Berlin： Springer， 2020：399-415.
［68］ WANG X T， LI Y， ZHANG H L， et al. Towards real-world blind face restoration with generative facial prior［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE，2021：9164-9174.
［69］ ZHU F D， ZHU J W， CHU W Q， et al. Blind face restoration via integrating face shape and generative priors［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， CA： IEEE，2022：7662-7671.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2022-11-19
基金项目：国家自然科学基金（62072350，62171328）
作者简介：朱柏霖，硕士研究生。Email：[email protected]
*通信作者：卢 涛，博士，教授。Email：[email protected]
引文格式：朱柏霖，卢涛，王依伊，等. 实际场景人脸超分辨率算法综述［J］. 武汉工程大学学报，2024，46（5）：564-573.
更新日期/Last Update: 2024-10-26