Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder

任意尺度图像生成与上采样：使用潜在扩散模型与隐式神经解码器

研究背景

图像超分辨率（SR）和图像生成是计算机视觉中的重要任务，广泛应用于医学成像、卫星成像、监控和数字摄影等领域。然而，现有方法大多只能在固定尺度上进行图像生成或超分辨率处理，存在图像过平滑、伪影等问题，且输出图像的多样性和不同尺度下的一致性不足。为了解决这些问题，本研究提出了一种结合潜在扩散模型和隐式神经解码器的新方法，以实现任意尺度的图像生成和超分辨率处理。

研究意义

本研究旨在解决现有图像生成和超分辨率方法中存在的尺度限制、图像质量、多样性和一致性等问题。通过提出一种新的潜在扩散模型和隐式神经解码器结合的方法，本研究能够在任意尺度下高效生成高质量、多样化的图像，并实现超分辨率处理，具有重要的理论和实践意义。该研究不仅推动了图像生成和超分辨率技术的发展，也为相关应用提供了新的解决方案。

文献综述

本研究综述了相关领域的文献，包括扩散模型、任意尺度图像生成和任意尺度超分辨率等方法。扩散模型是一种强大的生成模型，通过逐步去除噪声来生成样本数据。潜在扩散模型在潜在空间中进行扩散操作，提高了计算效率。任意尺度图像生成方法允许模型在多个尺度上生成图像，但现有方法存在图像质量不高、一致性不足等问题。任意尺度超分辨率方法能够在单个模型中实现多个尺度的超分辨率处理，但同样面临图像质量和一致性的挑战。本研究通过结合潜在扩散模型和隐式神经解码器，旨在解决这些问题。

具体方法

本研究提出了一种结合潜在扩散模型和隐式神经解码器的新方法，用于任意尺度的图像生成和超分辨率处理。具体方法包括：

编码器-解码器结构：使用一个预训练的自动编码器提取图像特征，并将其映射到潜在空间。解码器部分结合卷积解码器和多层感知机（MLP），能够生成任意尺度的输出图像。

潜在扩散模型：在潜在空间中进行扩散操作，通过逐步去除噪声来生成高质量的图像样本。扩散过程分为前向过程和反向过程，前向过程逐渐添加噪声，反向过程则逐步去除噪声以重建原始图像。

隐式神经解码器：结合自动编码器的卷积解码器和MLP，能够将潜在特征映射到任意尺度的RGB图像。MLP通过学习输出坐标和潜在特征之间的映射关系，实现连续图像表示。

两阶段对齐过程：为了减少编码器、扩散模型和解码器之间的误差和不对齐问题，提出了一种两阶段对齐过程。通过反向传播图像损失到扩散模型的初始步骤和任意中间步骤，改进了输出图像的质量。

图1

标题: The proposed method generates novel images and super-resolves low-resolution images at arbitrary-scales with high fidelity, diversity, and fast inference speed.

内容解释:

• 左图: 展示了使用所提出方法生成的新图像。图像具有高质量和多样性，且生成过程支持任意尺度。
• 右图: 展示了使用所提出方法对低分辨率图像进行超分辨率处理的结果。该方法能够在任意尺度上对图像进行超分辨率处理，同时保持高保真度和快速推理速度。

图2

标题: Model structure comparison with IDM.

内容解释:

• 左图 (IDM): 展示了隐式神经表示（INR）应用于去噪U-Net的模型结构。在这种结构中，隐式表示在每个扩散步骤中应用于去噪U-Net，增加了训练和推理的复杂性，并需要大量内存。
• 右图 (Ours): 展示了所提出的方法的模型结构。在该结构中，隐式神经解码器被移出了扩散过程，扩散操作在潜在空间中进行，显著降低了训练和推理的复杂性，并提高了效率。

公式1表示扩散过程中的前向过程，其中z_t是在时间步t时的噪声潜变量，z_0是原始数据，ε是从标准正态分布N(0, I)中采样的噪声，α_t是噪声调度的一部分，决定了在每个时间步添加到数据中的噪声量。

公式2表示扩散过程中的反向过程的后验分布，它是一个高斯分布，其中u_t和σ_t^2分别是均值和方差，I是单位矩阵。u_t和σ_t^2通过神经网络预测得到，用于从噪声潜变量z_t中恢复出前一步的潜变量z_{t-1}。

公式3具体定义了反向过程中高斯分布的均值u_t和方差σ_t^2。其中，α_t和β_t是噪声调度的一部分，ε是与公式1中相同的噪声项。

公式4表示扩散模型的损失函数，其中ε_θ(z_t, t)是神经网络预测的噪声，ε是真实的噪声。损失函数通过最小化预测噪声和真实噪声之间的L2范数来优化模型参数θ。

图3

标题: Upper Part: Overall process of proposed networks. Red line is a super-resolution process, and Blue line is a generation process.

内容解释:

• 整体框架: 展示了所提出方法的整体流程，包括超分辨率过程和图像生成过程。
• 红色线: 表示超分辨率过程，从低分辨率图像开始，通过潜在扩散模型和隐式神经解码器生成高分辨率图像。
• 蓝色线: 表示图像生成过程，从随机噪声开始，通过潜在扩散模型和隐式神经解码器生成新图像。

公式5表示局部隐式图像函数（LIIF）的解码过程，其中I(c)是在坐标c处的图像像素值，f_θ是一个参数化为MLP的解码函数，z*是通过计算与z的最近欧几里得距离并通过相对坐标c*到图像域插值得到的特征向量。

• 公式6表示使用隐式神经解码器将潜在向量z解码为连续图像I在坐标c处的像素值。其中，D_φ是预训练自编码器的解码器网络，用于初步解码潜在向量z；f_θ是一个MLP解码函数，它将D_φ(z)解码的特征与相对坐标c*结合，输出对应的像素值I(c)。

公式7表示重构损失，用于衡量生成图像^x_0与真实图像x_0之间的差异。其中，α_t是噪声调度的一部分，用于加权不同时间步的损失；||x_0 - ^x_0||^2_2是生成图像与真实图像之间的L2范数距离。

公式8表示扩散模型的去噪损失，其中ε_θ(z_t)是预测噪声，ε是真实噪声。公式通过重写展示了去噪损失与潜在向量之间的差异之间的关系，其中^z_0是预测的原始数据潜向量。

公式9表示用于微调扩散模型的联合损失函数，其中L_{dm}是去噪损失，L_{recon}是重构损失，λ_1和λ_2是平衡两个损失的权重。通过最小化这个联合损失，可以提高生成图像的质量。

图4

内容解释:

• 左图: 定量比较了所提出方法与其他方法在FID和SelfSSIM指标上的性能。结果显示，所提出方法在各项指标上均表现优异。
• 右图: 展示了所提出方法在不同尺度下生成的图像示例，体现了其任意尺度图像生成的能力。

表1：LSUN Bedroom数据集上的定量比较结果

• 数据集：LSUN Bedroom，用于评估任意尺度图像生成的性能。
• 评价指标：FID（Fréchet Inception Distance）、Precision、Recall和SelfSSIM。
• 结果解释：FID：衡量生成图像与真实图像之间的感知质量差异。值越低表示生成图像质量越高。本模型在所有分辨率下均取得了最低的FID分数，表明其生成的图像具有最高的感知质量。Precision：衡量生成图像覆盖真实图像分布范围的能力。值越高表示覆盖范围越广。本模型在所有分辨率下均取得了最高的Precision分数。Recall：衡量生成图像与真实图像之间的多样性。值越高表示生成图像的多样性越好。本模型在所有分辨率下均取得了最高的Recall分数，显示出良好的图像多样性。SelfSSIM：衡量不同尺度下生成图像之间的一致性。值越接近1表示一致性越好。本模型在所有分辨率下均取得了接近1的SelfSSIM分数，表明其生成的图像在不同尺度下具有高度的一致性。

图5

标题: Qualitative results on LSUN Bedroom and Church datasets.

内容解释:

• 展示了所提出方法在LSUN Bedroom和Church数据集上的定性结果。结果显示，所提出方法能够生成高质量、多样性的图像，并且在不同尺度下保持一致性。

图6

内容解释:

• 展示了所提出方法在人脸数据集上生成的多种图像示例。这些图像展示了模型在生成具有不同表情、姿势和背景的人脸图像方面的能力。

表2：CelebA-HQ和LSUN Bedroom数据集上的任意尺度超分辨率定量比较结果

• 数据集：CelebA-HQ（人脸）和LSUN Bedroom（卧室场景），用于评估任意尺度超分辨率的性能。
• 评价指标：PSNR（Peak Signal-to-Noise Ratio）和LPIPS（Learned Perceptual Image Patch Similarity）。
• 结果解释：PSNR：衡量重建图像与真实图像之间的像素级差异。值越高表示重建质量越好。本模型在所有尺度下均取得了较高的PSNR分数，表明其超分辨率重建质量较高。LPIPS：衡量重建图像与真实图像之间的感知差异。值越低表示感知质量越高。本模型在所有尺度下均取得了较低的LPIPS分数，显示出良好的感知质量。

表3：使用DIV2K和Flickr2K数据集的4×超分辨率定量比较结果

• 数据集：DIV2K和Flickr2K，用于评估在野数据集上的4×超分辨率性能。
• 评价指标：PSNR和SSIM（Structural Similarity Index）。
• 结果解释：PSNR：本模型取得了较高的PSNR分数，表明其在4×超分辨率任务上重建质量较高。SSIM：衡量重建图像与真实图像之间的结构相似性。值越高表示相似性越好。本模型取得了较高的SSIM分数，显示出良好的结构相似性。

表4：DIV2K数据集上不同尺度超分辨率的定量比较结果

• 数据集：DIV2K，用于评估在野数据集上不同尺度（8×、12×、17×）的超分辨率性能。
• 评价指标：PSNR和LPIPS。
• 结果解释：PSNR：本模型在所有尺度下均取得了较高的PSNR分数，表明其在大尺度超分辨率任务上重建质量较高。LPIPS：本模型在所有尺度下均取得了较低的LPIPS分数，显示出良好的感知质量。随着尺度的增大，本模型相对于LIIF的优势更加明显。

图7

标题: Qualitative comparisons of arbitrary-scale upsampling on face(upper) and in-the-wild(lower) dataset.

内容解释:

• 上部分: 展示了在人脸数据集上对不同方法进行任意尺度超分辨率处理的定性比较。结果显示，所提出方法能够恢复更多的细节信息，并生成与真实图像表情相似的面部图像。
• 下部分: 展示了在野外数据集上对不同方法进行任意尺度超分辨率处理的定性比较。结果同样显示了所提出方法的有效性。

图8

标题: Left: Qualitative results of the proposed method for arbitrary-scale upsampling on face datasets. Right: Comparison of scale consistency on face dataset.

内容解释:

• 左图: 展示了所提出方法在人脸数据集上进行任意尺度超分辨率处理的结果。结果显示，所提出方法能够生成高质量、一致性的图像。
• 右图: 展示了所提出方法在不同尺度下生成图像的一致性比较。结果显示，所提出方法在不同尺度下生成的图像保持了高度的一致性。

图9

标题: Visualization of result diversity in super-resolution tasks.

内容解释:

• 展示了所提出方法在超分辨率任务中生成结果的多样性。通过对同一低分辨率图像进行超分辨率处理，所提出方法能够生成多种不同但均合理的高分辨率图像，从而更好地处理“不适定问题”。

表5：不同模型在任意尺度超分辨率任务上的推理速度比较（FPS）

• 评价指标：FPS（Frames Per Second），衡量模型的推理速度。
• 结果解释：本模型在所有尺度下均取得了较高的FPS分数，表明其推理速度较快。特别是在大尺度（如200×）下，本模型的推理速度显著优于IDM模型，显示出良好的计算效率。IDM模型由于需要在每个去噪步骤中通过MLP，导致推理速度较慢，特别是在大尺度下无法生成图像。而本模型通过将MLP应用于解码过程，显著提高了推理速度。

表6：Ablation studies of decoder structures and alignment process

解释:

• Decoder Architecture: 表格展示了不同解码器结构对重建质量的影响。使用预训练自编码器的对称解码器与MLP相结合的结构（AE+MLP）比仅使用MLP（MLP）或直接使用MLP重构提取特征（Encoder-Decoder）的重建质量更好。
• Alignment Process: 表格还展示了两阶段对齐过程对模型性能的影响。在进行了对齐过程后，模型的PSNR显著提高，LPIPS显著降低，表明对齐过程有效减少了模型误差，提高了输出图像的质量。

图10

标题: Comparison of qualitative results before and after the two-stage alignment process.

内容解释:

• 展示了在进行两阶段对齐过程前后生成图像的定性比较。结果显示，两阶段对齐过程显著减少了伪影，并使生成的图像纹理更加真实。