扩散模型应用:超分(SR3),Deblur
原创bochen
小小cv笔记
gh_aedf7b6ee767
图像识别方向顶会论文看不停，包括但不限于目标检测、分割、跟踪、分类、无监督、自监督、联邦学习、域自适应、变化检测、超分、扩散模型、图像生成、视频生成、人脸检测、人脸识别、关键点、以及红外方向
一SR3
论文题目：Image Super-Resolution via Iterative Refinement（TPAMI22)
简介
1）第一个利用DDPM来做图像超分辨率的工作
2）将超分任务描述为有条件生成
3）实验表明该方案可以做超分，在某些指标上超过了GAN
方法
1）将已有的高分辨率图像HR通过退化操作生成低分辨率图像LR
2）将LR作为condition，与噪声concatenate之后送给unet重建，即unet变为输入6通道，输出3通道
3）不直接αt而是取均匀分布[αt-1, αt]，让时间间隔更加均匀
4）不再将T输给unet,而是输入noise level，也就是均匀采样的值
5）思想比较简单，不仅可以用作超分，也可以用作其他的任务，比如image2image
实验
1）主观效果还是不错的
2）定量效果一般，和GAN一样，主观指标较好，但是客观指标一般
二 deblur
论文题目：Deblurring via Stochastic Refinement(CVPR2022)
1简介
1）目前的去模糊方法主要是图像去模糊是确定性估计方法，重建质量不好
2）提出了一个新框架，基于条件扩散模型，在视觉质量上有了很大的提升，获得了更好的性能
2相关工作
PD曲线，来自论文ThePerception-DistortionTradeoff（CVPR2018)，Perception指标包括LPIPS,NIQE,FOD,Distortion指标包括PSNR和SSIM，论文发现Perception和Distortion的总是存在偏向，有的算法强在Perception，有的算法强在Distortion，如果优化Perception，不可避免的会影响Distortion，Perception和Distortion需要Tradeoff
3 方法
1）predict-and-refine策略，扩散模型的x0不再是原图，而是原图和predictor的残差
2）每一次采样具有随机性，可以多重建几次取平均，类似于EMA
3）采样的步数越多Perception主观指标越好，反之Distortion客观指标越好
4）训练的时候用小patch，测试的时候用整张图，和分辨率无关
4实验
1）和GAN一样，可以取得最好的Perception主观指标，但是Distortion客观指标一般
2）消融实验
限 时 特 惠： 本站每日持续更新海量各大内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： lzxmw777
