AMD FidelityFX超级分辨率：数字铸造访谈

　　每个人都希望从他们的PC硬件中进行额外的性能
，对吗？这就是AMD的FidelityFX超级分辨率（FSR），NVIDIA的DLSS和Intel即将到来的XESS等技术的所有内容 - 从本质上讲 ，GPU可以以较低的分辨率呈现
，然后将其重组或重组为显示器的本机输出
。从某种意义上说，这是PC的新领域 ，很长一段时间以来
，本地分辨率渲染是唯一的前进途径。但是，在控制台的土地中 ，“智能升级”并不是什么新鲜事物
，在2016年PS4 Pro的推出中真正引起了人们的关注 。PC已经采用了类似的技术，但也产生了自己的混合物 - 尤其是AMD的FSR分开
。因此 ，当Red团队问我们是否有兴趣谈论FSR时
，我们抓住了机会。在技​​术和哲学方面，AMD的方法都是不同的 。

　　为了设定场景 ，我们传统上定义为“智能上限者 ”的内容都有一个共同点：使用先前的帧作为提高下一个呈现质量的参考
。GPU在生成先前的图像上所花费的所有努力与运动向量结合使用，这些运动向量将这些像素将来会在哪里结束
，从而可以将额外的细节注入新鲜的渲染框架中。最初使用的两个关键技术是棋盘渲染和时间超级采样 。这些技术使PS4 Pro的4.2TF GPU能够产生相当有说服力的4K输出，并且此时已在所有控制台上使用它们
。现在在PC上支持的一系列发动机中也发现了类似的技术 - 随着机器学习的增加组件 ，DLSS 2.X也是如此
，此外，这也是我们期望英特尔的XESS播放的方式。

　　当AMD透露FSR将是一种仅空间上的上尺度解决方案时 ，我们是怀疑的
，因为它不是从先前生成的帧中吸引数据来增加细节，而是从当前框架不可避免地导致时间不连续性的任何其他框架以外的任何数据中都没有可见性 。AMD实际上正在采用该行业基本上遗留下来的技术-FSR不是TSSAA或Checkerboarding等重建技术 ，而是一种令人振奋的技术
。但是
，它不仅仅是单独进行放大：它具有检测和完善边缘并减轻原本会导致的混叠伪像的能力增强 - 这就是使它吸引人的原因。然后也有哲学角度 。NVIDIA DLSS是封闭的来源 - 如果您愿意的话，一个针对开发人员的黑匣子 ，并且只能在配备ML的卡上运行。英特尔Xess的目标是更开放
，但肯定是一开始，没有来源访问
。

　　AMD的FSR是直接相反的：源代码是完全打开的 ，并且由于它是一种完全由软件驱动的技术，并且无论是坐在PC还是控制台上
，都应该在任何现代GPU上运行良好。这导致了很快到达的广泛支持，意想不到的“自制
”支持增加了各种模拟器 ，甚至在全新的游戏机游戏中实施
，例如Myst和（我们怀疑！）Arkane Studios的Deathloop 。

　　所有这些都导致了AMD游戏工程总监Nick Thibieroz的采访
。我们想进一步了解为什么AMD选择采用空间方法来抗晶粒，FSR如何适应FidelityFX生态系统 ，该生态系统已经包含了另一种用于升级的有益技术（CAS）
，为什么它没有反映出NVIDIA的方法和Intel在拥抱机器学习方面的最佳练习以及对开发者的最佳练习，从而获得了最佳的技术。另外 ，未来是什么？FSR处于1.0状态
，肯定会在管道中进行改进，那么我们应该期望什么？

　　FSR的DF评论：该技术很有趣 ，但结果质量基本上与正在处理的内容类型紧密相关 。

　　Digital Foundry：您能否给我们关于AMD的FSR目标的初步概述
，以及您如何专门解决通过空间升级的现有工作的专门解决？

　　尼克·蒂比耶罗斯（Nick Thibieroz）：我们为第一个提升解决方案设定的目标当然是雄心勃勃的，我们试图将尽可能多的好处包括在同一解决方案中
。我想说的是我们确定为关键的三个主要功能是：跨平台支持 ，质量/性能平衡和开源。

　　跨平台允许尽可能多的玩家从技术中受益，而不仅限于给定的图形卡
，GPU供应商或特定的硬件平台 。鉴于当前的GPU可用性气候，我们认为这个目标尤其重要
。

　　当然 ，提高质量是一个主要重点
，但这必须与在GPU上执行解决方案的成本进行缓和。显然，这些目标在许多方面都与彼此相对应 ，因为较高质量通常需要花费更多的处理工作 。显然
，如果我们能够以最广泛的GPU启用该技术，那么我们不得不超越空间上的最新效果
。

　　我个人推动的开源源代码也是游戏开发人员想要看到的。开源不仅鼓励在更广泛的环境中采用采用 ，还可以使集成变得更加容易
，使其他人学习，并解锁了扩展或适应该技术以满足开发人员的特定需求的潜力 。毕竟 ，游戏开发行业一直是共享知识！这种开放性确实在AMD的DNA中
，只要看GPUOPEN计划，我们就认为对我们的角色很重要。

　　随着过程的发展 ，很明显我们有一些特别之处
。因此，我们为自己设定了另一个目标
，即实现广泛而迅速的采用。令人高兴的是，事实证明 ，FSR 1.0的三个关键目标 - 跨平台
，高质量/性能比和开源率 - 确实可以帮助我们实现这一目标，这对于各地的游戏玩家来说非常有用 ，因为它将技术掌握在他们的手中
，这一点更快！也就是说，我们知道我们必须走得更远 ，这意味着在设计中包括一些额外的功能
，这将有助于加快采用的速度 。具体来说，我们为许多开发人员已经使用的引擎和功能提供了支持
。这就是为什么FSR 1.0在虚幻引擎和统一上都可以使用并支持任意缩放的原因（需要启用动态分辨率缩放等技术）。

　　考虑到这些雄心勃勃的目标以及我们使用空间上尺度算法做出的突破 ，因此在纯空间上的高尺度解决方案下定居为FidelityFX超级分辨率1.0是自然的选择 。

　　这是AMD的FidelityFX超级分辨率的启动视频
。

　　Digital Foundry：我认为可以公平地说
，行业中其他各地的旅行的总体方向是进行暂时的超级采样 - 无论是通过软件还是通过机器学习。这是一次在2016年开始真正吸引PS4 Pro的旅程，实际上是A Triple-A游戏开发的标准 。我很好奇为什么AMD排除了？

　　尼克·蒂比耶罗斯（Nick Thibieroz）：我们没有排除任何东西！FSR 1.0是AMD进行广泛研究的结果 ，多个组使用各种基础上尺度的技术探索不同的解决方案
。鉴于我们设定的目标，我们选择发布FSR 1.0
，因为我们知道它将吸引许多希望能够在多个平台上以更快的帧速率享受高质量游戏的开发人员和游戏玩家，而不会受到专有硬件的限制。

　　因此 ，虽然我很欣赏选择空间上的高档器使许多人感到惊讶
，但我认为结果在开发人员的接收和采用方面为自己而言 。实际上，到目前为止 ，专业人士和发烧友都利用FSR的各种方式令人印象深刻！

　　如果您仅专注于升级的一个方面 - 让我们来谈谈图像质量 - 那么
，我认为可以说有一些升级技​​术可能会提供更好的结果（尽管在某些情况下可能需要对静止图像进行“像素窥视”以提出这一说法）
。我认为，如果您仅将高档评估范围缩小到一个标准 ，那么您的结论将是不完整的。FSR旨在像我们所讨论的那样勾选许多盒子
，正是构成完整包装的优质功能的组合 。想想它就像购买新车：我认为没有人只能以汽车的外观为基础。聪明的买家将考虑它的发展速度，提供的选择 ，驾驶体验的光滑程度以及他们是否可以负担得起
。

　　数字铸造厂：FSR宣布的嗡嗡声是
，它将是DLSS的开放替代方案，需要某种加速的速度 ，而硬件加速的射线跟踪及其高计算要求。RT基本上与AMD RDNA 2完全支持的DX12 Ultimate功能集相关联，其中包括机器学习 - 因此
，是否有一个特定的理由不特别攻入机器学习？

　　尼克·蒂比耶罗斯（Nick Thibieroz）：我要说的是，我们应该谨慎考虑将“机器学习 ”视为解决所有问题的魔术棒 。当然 ，如果做对了
，ML可能是一个非常强大的工具，但这不是解决问题的唯一方法
。简而言之 ，机器学习是通过使用相当蛮力的方法来发现某些输入与某些输出之间的关系的方法。该过程通过将数据馈送到ML框架中起作用
，目的是生产一个模型，该模型以最佳方式封装了输入集与所需输出之间的关系 。然后 ，我们采用已发现的关系
，并将其应用于模型从未见过的输入
。在某些情况下，ML是不费吹灰之力的 ，它是最好的
，也许是唯一的方法。但是，通常可以通过常规算法实现相似的功能 ，而不是依靠ML为您发现这种关系 。

　　您还需要做出的权衡取舍来利用ML，这意味着它可能不会打勾其他方面的盒子
。在实时上下文中使用ML可能意味着我们将失去可移植性
，性能，如果做得不正确 ，甚至是某种质量。

　　如果我们对ML和升级算法是客观的
，那么我认为NVIDIA DLSS的第一次迭代是我在这里所说的很好的例证 。解决方案中仅ML的存在并不意味着您将获得很好的结果
。ML清楚地表明了前景，AMD在许多方面都在ML R＆D上进行大量投资 ，但仅仅因为算法使用ML并不意味着鉴于一系列目标
，它并不意味着它是总体最佳解决方案。

　　FidelityFX超级分辨率已获得许多备受瞩目的集成，例如包含在Unity的HDRP渲染器中 。

　　数字铸造厂：CAS仍然位于FidelityFX功能集中 - 是否存在AMD在FSR上方推荐它的情况 ，还是FSR有效地替换技术？

　　Nick Thibieroz：对比度自适应锐化（CAS）是一种后处理的图像锐化技术
，它在图像中恢复了细节，通常在应用颞抗抗化（TAA）的情况下。尽管CAS支持可选的高档功能 ，但CAS本身无法恢复足够的细节以使内容更接近本地分辨率游戏体验
。

　　鉴于此
，我们建议使用CAS升级选项的开发人员应用FSR替换它，以大大提高高尺度的图像质量。不使用升级或在其游戏选项中关闭FSR的游戏可能会选择在其本质上渲染的图像上使用CAS锐化 。

　　数字铸造厂：在广泛的笔触中 ，是否有一系列通用的“最佳实践
”指南为开发人员实施FSR以获得最佳结果吗？

　　Nick Thibieroz：FidelityFX超级分辨率可以在GPUOPEN上找到，其中包括集成步骤和有关将其包含在图形管道中的信息
。在高层上
，我们建议在感知空间（通常是在音调映射之后）实现FSR，并在合格的纹理上使用MIP偏置 ，以使图像更接近本机分辨率渲染的外观。FSR还需要某种形式的抗缩减才能产生高质量的结果
，否则将发现并呈现硬质边缘 。

　　数字铸造厂：建议将FSR应用于抗恶化图像，但大多数游戏都有各种形式的抗氧化剂可供选择
。当然 ，结果可能会因游戏而异
，但是您是否可以向AA解决方案最适合使用FSR提供任何一般建议？

　　FSR可以与我们尝试过的大多数AA形式合作：MSAA，TAA ，FXAA等。但是
，基础AA实现的质量对于FSR产生的最终升级质量至关重要 。例如，不包含其他示例信息的AA技术（通过直接多样采样或利用以前的抖动框架）或以次优的方式进行的AA技术将显示FSR上的局限性 ，例如
，在薄功能上，在较薄的功能上升级质量
。

　　我可以为高质量的FSR实施提供的最佳建议是确保基础AA技术也具有高质量 ，尽可能稳定，并能够以合理的方式描绘薄功能。

　　FSR升级选项包含在《孤岛惊魂6》中
，这可以帮助抵消硬件加速射线跟踪的额外成本 - 或通常是性能加速 。

　　Digital Foundry：使用了众多的游戏和游戏发动机采用时间超级采样，FSR是否具有任何应用程序作为该技术的添加剂 - 还是CAS更适合使用时间超级采样的游戏？

　　Nick Thibieroz：在将时间技术与FSR混合时进行了一些实验 ，其中有些甚至在发货的标题中
。由于FSR是开源开发人员
，如果两者认为结果值得，可以自由尝试混合。这是开源方法的巨大好处之一！

　　归根结底 ，如果游戏已经支持了质量和表现尺寸的实现
，那么所有游戏玩家都可以从中受益，而不管他们在上面玩的硬件如何 ，那么可能根本不需要FSR
，这还可以 。

　　数字铸造：在高频细节上，我们发现AMD当前的GPU缩放器发动机比来自同一基础分辨率的FSR保留了更多的表面细节 - 但是FSR处理边缘伪像更熟练。您使用FSR的工作可以重新融入您的下一代GPU硬件缩放器的设计中吗？

　　Nick Thibieroz：与仅在后端应用GPU缩放器相比 ，FSR的正确实现具有许多优势
。首先
，为了获得最佳结果，应在框架的特定部分渲染FSR ，以通过后处理操作很好地发挥作用，并确保颜色空间正确。其次
，FSR提供了内置的锐化通行证，有助于恢复和保存一些高频细节 ，甚至是多边形内部的细节 。第三
，我们还提供有关FSR集成如何利用MIP偏置调整的指导，这也有助于获得最佳结果
。鉴于所有这些 ，我通常希望与仅在框架末端使用纯GPU缩放器相比
，成功的FSR集成产生了出色的视觉结果。关于FSR在不同上下文中的进一步应用，我说我们正在评估所有选项 ，但是在此阶段
，我们没有准备好讨论 。

　　数字铸造厂：FSR处于其1.0州，但是您能否分享有关下一次迭代的研究的任何信息？目前 ，FSR算法基于游戏引擎的2D输入 - 但是FSR可以从访问深度信息或运动信息中受益吗？

　　尼克·蒂比罗兹（Nick Thibieroz）：我们计划随着时间的流逝而继续开发和/或增强FSR
，并实现我们为游戏玩家提供最佳体验的目标
。随着多次研究工作的同时进行，正在考虑几个技术方向。一旦我们更接近宣布某些内容 ，我期待再次与数字铸造厂交谈 。

　　数字铸造厂：FSR的最大优势是它基于软件，并且有效地在任何GPU上运行 - 或至少可以运行主机游戏的任何GPU
。这是您完全融入的哲学吗？还是您考虑利用DX12终极特征？这可能会降低兼容​​性
，但是从某种意义上说，该技术不会专有或以单一品牌的GPU运行。

　　DX12最终功能包括DXR 1.1 ，可变速率阴影
，网格着色器和采样器反馈 。在这个时间点，我认为这些技术中的任何一种都不尤其与升级算法有关（虽然VRS可能会有应用程序）
。如果您更笼统地询问利用出血边缘GPU技术来生成超级分辨率算法的概念 ，那么我现在就说的是
，我们的提高研究涵盖了许多方向！由于FSR 1.0是为广泛的用户和平台开发的，因此现在几乎可以为每个人提供了一个解决方案 ，这使我们能够将某些关注的关注点可能利用更高级的GPU功能或性能水平。