通过深度卷积网络，把移动设备上的照片提高到单反级别画质（已开源）
简评：可以应用于任何手机，把相片提高到单反级别。相关下载请看文末。
本文翻译，以下我们都代表原作者团队。
尽管智能手机的内置相机质量连年提高，但由于物理限制（传感器尺寸、镜头紧凑、缺乏特定的硬件）的存在，画质一直无法和单反相机相媲美。
在本文的项目中，我们提出了一个端到端的深度学习方法，通过把普通照片转化为单反级质量的图像，来弥补其二者的差距。我们使用残余卷积神经网络来改善色彩再现和图像清晰度。
由于标准均方损失不太适合测量感知图像质量，因此我们引入了一个复合的感知误差函数，它将内容，颜色和纹理损失相结合。前两个损失是通过分析来定义的，纹理损失是通过对抗的方式学习的。
我们还提供了大型数据及 DPED，这个数据集是由三个不同手机和一个高端反光照相机拍摄的真实照片组成的。
我们的定量和定性评估显示，增强的图像质量可与单反相机拍摄的照片相媲美，而该方法可以推广到任何类型的智能设备上。
在线demo
demo 可直接上传照片来对比效果。
以下是官方的效果展示，左侧是处理后，右侧是原图。
城市数据集
iPhone 6 相机
华为 P9 莱卡相机
HTC One M9 相机
魅族 M3s 相机
小米 - 红米 3X 相机
Nexus 5X 相机
DPED：单反级照片增强数据集
通过降低质量的手机相片提高到单反级画质，我们引入了三部智能手机和一部单反相机，组成大型的 DPED 数据集，用于收集数据的设备分别是： iPhone 3GS，BlackBerry Passport，Sony Xperia Z 三部手机和 Canon 70D 单反相机。为了确保他们同时工作，它们被安放在三角架上，通过无线控制。
索尼智能手机照片 4549 张，iPhone 手机照片 5727 张，黑莓手机照片 6015 张。对于每张智能手机照片都有一个来自佳能数码单反相机的相应照片。这些照片是在白天在各种各样的地方以及各种照明和天气条件下拍摄的。图像是以自动模式拍摄的，我们在整个采集过程中使用了所有相机的默认设置。手机拍摄和单反拍摄出来的画面有所不同，我们通过 SIFT 特征进行了额外的非线性变换，以确保图像平齐。
下载 CNN 培训数据集（科学上网，同时需要填写一简单个表格）
算法
图像增强使用了 12 层的残差卷积神经网络，将手机照片作为输入数据，输出高质量单反级图像。
换句话说，它的目标是「学习将给定相机拍摄的照片修改为数码单反相机质量照片的底层转换功能」。该网络经过训练可以最大限度地减少由以下三个复合函数的损失：
- 色彩损失：增强后的图像应该在颜色方面接近目标（单反级）照片。为了衡量他们之间的差异，我们应用高斯模糊于两个图像，并计算欧氏距离。
- 纹理损失：为了测试增强图像的纹理质量，我们训练一个单独的 CNN 鉴别器来检测目标灰度图像，其目标是预测哪个是单反原图哪个是增强图像。我们的图像增强网络的目标是骗过鉴别器，让鉴别器无法区分哪个是单反图像，哪个是增强图像。
- 内容损失：一个独特的 VGG-19 CNN 在 Alexnet 上预先训练用于保存图像含义；由 CNN 产生的内容描述对于原图和增强图应该都是一样的标准。
总结所有的损失，系统作为一个整体使用反向扩展，以逐渐减少图像损失。
代码
- 提出的模型和整个训练的 TensorFlow 实现，可在我们的 github 中找到
- 预训练模型 + 独立代码，可以在这里单独下载
- 先决条件：GPU + CUDA CuDNN + TensorFlow（> = 1.0.1）
引文
- Andrey Ignatov, Nikolay Kobyshev, Radu Timofte, Kenneth Vanhoey and Luc Van Gool.
- "DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks",
- in IEEE International Conference on Computer Vision (ICCV), 2017
原文：DPED Project
日报延伸阅读：
欢迎关注：
- 专栏「极光日报」，每天导读三篇英文，价值、思考、共鸣。
- 网易云音乐的电台「极光日报」，每周两期，听园长瞎白话。
