S3D 与 WibbleWobble

写给好奇的游戏玩家
对该技术的通俗介绍，包括它是如何构建以及如何工作的。 如果你不感兴趣，则无需阅读——内容较为枯燥。

游戏如何绘制 3D
在游戏中生成3D图像的通常做法是将场景渲染两次—— 分别针对左眼和右眼，虚拟地相对于场景中心移动摄像机。 这非常消耗资源，并且需要游戏引擎的内置支持。 远非每款游戏都能做到这一点。WibbleWobble提供了两条不同的路径，它们之间的区别 是根本性的——它决定了图像质量和图像伪影的集合。

路径一：ReShade客户端——从平面帧合成立体图像
游戏渲染单个普通视图。SuperDepth3D ReShade效果将该帧与 场景的深度缓冲区一起处理，通过根据深度移动像素来从中重建第二个视点。 游戏引擎对立体一无所知。这在性能方面开销很低，并且适用于 几乎任何DX11/DX12游戏。代价是该方法本身固有的伪影。 这些将在下面的“缺点”部分中描述。

路径二：OpenVR客户端——真正的3D渲染
WibbleWobble在SteamVR中将自己注册为虚拟VR头显。支持VR的游戏，或带有VR模组的游戏， 会从两个相隔瞳距的摄像机渲染场景两次，就像真正的头显一样。 IPD、单眼分辨率和焦距在VR Config中设置。在这里，WibbleWobble不合成 任何东西：它获取现成的立体图像对，并将其逐帧输出到屏幕， 同步快门眼镜。这在性能上开销更大， 但3D几何结构绝对正确。轮廓上没有空洞，没有“纸板”效果； 每只眼睛都能获得自己的反射和高光。本质上，这是一种在普通显示器上 用3D眼镜但无需头显来玩VR游戏的方式。

重投影——视场扩展机制
重投影在两种模式下都有效，包括单眼模式。 一个高性能着色器获取游戏帧，并将其映射到你的 工作空间的几何结构上：映射到单个显示器，或四个显示器，或曲面屏幕上。 通过头部追踪（OpenTrack），图像会跟随你的头部移动，显示器 开始充当通往虚拟世界的窗口——“VR鱼缸”效果。 重投影的目的是为多显示器使用获得正确的世界比例和正确的视场角（FOV）。 重投影可以完全关闭 （Client Config -> Reprojection: Disabled），你可以只使用立体输出、 BFI和放大器——这是单个显示器的常见场景。
* 必须说，项目作者对于在多个面板上“扩展世界”的想法 过于乐观了。即使是强大的显卡也没有足够的性能来做到这一点。如果你的速度 足以驱动单个4K显示器，那就算幸运了。多个显示器是行不通的……

FOV（视场角）：视角。它决定了虚拟摄像机在帧中 捕捉到世界的哪个扇区。它以度为单位测量，分别针对垂直和水平方向。 小FOV（40-50°）看起来像长焦镜头：狭窄的扇区，物体很大。 大FOV（100-120°）是广角的，像运动相机。你能看到两侧的很多内容， 但边缘会被拉伸，物体看起来更远、更小。这是WibbleWobble中的关键参数。 程序必须知道游戏绘制该帧时的角度， 以便将其正确地投影到你的物理显示器上。 这就是为什么Game Config有两个字段：FOV Vertical和FOV Horizontal，并且有一个要求： 该值必须与游戏本身设置的值匹配。更改一个值， 另一个值会自动重新计算，以匹配窗口的宽高比。

如果FOV是：
过大 世界看起来像玩具一样，物体的比例也失真了
过低 世界显得巨大无比，一切都笼罩在你头顶
在3D模式下，深度会随着比例一起崩坏，眼睛疲劳也随之而来

头部追踪作为“通往世界的窗口”
使用OpenTrack方法，应用程序处理器会追踪头部 位置并移动投影，使显示器渲染出 一个进入3D场景的虚拟窗口。这会产生视差效果。 当你移动头部时，图像会轻微移动， 就像你真的透过一扇窗户在看一样。

帧序列立体输出
应用程序会以可变速率从游戏接收帧，帧准备好后 就“按原样”接收。然后客户端会调整帧率，以60 Hz进行播放。 立体帧对的来源可以是SuperDepth3D、VR模组，或现成的3D内容。 WibbleWobble接受并排或棋盘格格式（客户端配置 -> 源格式） 并在FrameBufferDecode中对其进行解码。随后渲染器会将其转换为120 Hz帧序列流， 同时同步快门眼镜。支持以下发射器： NVIDIA 3D Vision、Open3DOLED、DLP投影仪、3D Ready，以及自制Arduino/VESA红外发射器。

对抗运动模糊和串扰
运动模糊是由显示器产生的模糊。 现代LCD和OLED面板会在整帧期间保持像素点亮—— 也就是采样保持模式。当像素保持点亮并固定在一个位置时， 眼睛会本能地继续追随移动的物体。 结果，图像会在视网膜本身上“拖影”， 即使显示器上的每一帧都完全清晰。 像素保持点亮的时间越长，拖影就越强。这个缺陷会掩盖精细细节， 还会在3D模式下进一步降低图像质量。

为了减少像素的点亮时间，WibbleWobble提供了两种工具：
黑帧插入——在有效帧之间插入黑帧 （客户端配置中的黑帧插入间隔参数）。
Blur Busters的CRT光束模拟器——一种模拟CRT电子束 扫描的着色器：它不是整帧消隐，而是逐行消隐图像。 它能带来更好的效果，但对显示器要求很高：需要gamma 2.2或2.4、 禁用ABL/APL，并且OLED需处于SDR模式。在FALD和MiniLED面板上效果很差， 因为背光有惯性。

这两种模式不能同时启用。使用 CRT Sim时，客户端配置中的黑帧插入间隔参数必须为零。 另外值得特别强调的是，游戏的运行速率可能低于显示器输出帧的速率， 而程序会将缺失的帧补足到显示器的速率。但这不是生成 新的中间图像——而是重复已有的帧。 换句话说，它没有重采样方法所提供的那种流畅感。

串扰是一种效应，即原本给一只眼睛的图像 会部分进入另一只眼睛。结果，观看者会在物体旁边看到双重轮廓或半透明 “鬼影”。这会降低3D图像质量并削弱深度感。 为了解决这个问题，内置了对黑帧插入和Blur Busters CRT光束模拟器的支持。 为了全面抑制串扰，使用了一种巧妙模式：游戏图像以60 Hz绘制， 眼镜以120 Hz接收同步，而屏幕输出以240 Hz运行并重复帧。

尽管有诸多优点，这种方式仍存在需要单独说明的限制。它们并非源于程序的任何缺陷，而是源于所选的工作原理。第二个立体视点并非从场景模型渲染而来，而是从已完成的帧和深度图重建而来。如果源帧中没有关于前景物体背后隐藏内容的数据，就无从恢复。

物体边缘的孔洞——去遮挡
这是该方式的主要缺陷。当程序为第二只眼睛或头部转动而移动视点时，源帧中被前景物体边缘遮挡的部分背景应当变得可见。但那些像素从未被渲染过——它们实际上并不存在。程序没有东西来填补这个空缺，因此它要么拉伸边缘像素，沿着轮廓产生“橡胶般”的涂抹光晕，要么用一块“看似合理”但通常不正确的补丁来替代。视点移动越强，光晕带就越宽。这不是实现上的错误，而是该方式本身的局限：你无法从单张图像中提取出隐藏在物体背后、在其中不可见的内容。

头部移动会放大失真
在普通立体中，视点之间的距离很小且恒定——等于瞳孔之间的距离。但在“通往世界的窗口”中，头部会向各个方向移动数十厘米，因此相对视点偏移比自然情况大许多倍，空洞和拖影也会变得更大。结果就是这样：坐着不动，几乎不会有伪影，但3D效果也很弱；大幅移动，效果是有了，但物体边缘的一切都会拖影和漂浮。

图形依赖深度图
程序需要关于场景中每个点距离的正确信息。游戏并不总是提供它，或者并不提供全部。透明表面——水、玻璃、烟雾、火焰、植被——通常没有详细深度，或者引擎根本不生成它。结果，物体会处在错误的距离上：水粘在错误的位置，烟雾重影，粒子悬在不同位置的空中。除此之外，并不是每个游戏都会输出兼容的深度缓冲区——有些是反转的，有些受保护而无法读取。

反射和高光破坏最严重
镜子、水、湿沥青和金属是由其自身表面的深度定义的，而不是由其中反射的图像定义的。当视点偏移时，反射会漂到不知道哪里去。如果高光是“画”在表面上的，它就不会像现实世界中那样表现。恰恰是最引人注目的光泽内容，在立体中看起来扁平且错误。

界面、准星和HUD
画面之上的二维元素——生命条、菜单、准星——以零深度绘制，因此处理后它们会处在错误的立体距离上。界面要么嵌进屏幕里，要么悬在场景前方。准星本身就是一个麻烦；它的深度位置几乎总是必须手动调整。

双眼共用一帧
两只眼睛看到的是同一幅图像，只是发生了偏移。在真正的立体渲染中，每只眼睛都会得到各自正确的高光、阴影和折射；这里不会发生这种情况。因此，物体看起来像是从胶合板上切下来并按深度排列的扁平层，而不是立体实体。在英文资料中，这种效果被称为“纸板剪影”效果。

逐游戏调校
视场、深度范围和会聚需要为每个游戏分别手动设置。设置失误要么会因过度会聚导致眼睛疲劳，要么会造成错误的比例，让世界看起来像玩具或巨大无比，甚至完全反转深度。这是一种“调一调再摸索”的解决方案，而不是“装上就能玩”的方案。

延迟和不均匀帧
游戏渲染帧并不均匀，而客户端通过重复已准备好的帧，使其适应显示器的稳定fps。重复本身不会引入失真，但动作与图像之间的延迟会累积：帧捕获、处理、输出。对于头部追踪来说，任何这样的延迟都会被感觉为场景的“漂浮”。Game Config为此有一个Frame Capture Delay参数，用于调整捕获时机。

残余串扰和高显示器要求
软件技术——黑帧插入以及60/120/240模式——可以抑制重影， 但无法完全消除它，因为串扰由许多因素决定： 显示面板和眼镜本身的物理特性。它取决于像素响应时间、 切换速度、眼镜镜片的对比度以及屏幕的垂直绘制速率。 此外，最激进的模式需要具有短像素余晖的快速240 Hz面板， 而并非每个用户都拥有这样的面板。 与NVIDIA 3D Vision不同，ReShade不会重现 现成的体积，而是从平面帧合成它。这就是为什么轮廓上的空洞、 不正确的反射和漂浮边缘是该方法的稳定伪影， 而不是暂时的缺点。

这里的立体几何是真实的，并且没有任何图像合成伪影——去遮挡、“纸板感”、 破碎的反射——在这里出现。但这种方法也有它自己的代价，而且是另一种代价。

游戏必须支持VR
这是主要限制。该方法不适用于任意游戏：它需要内置的 VR支持或VR模组。如果没有现成的模组，OpenVR路径将无法工作， 只剩下带有其所有伪影的ReShade。 换句话说，第一条路径所具备的广泛兼容性 在这里完全丧失了。

显卡的双重负载
场景确实被渲染了两次，来自两个摄像机。没有单视图 重投影所提供的节省：性能下降就像在真正的VR中一样。 这在一定程度上由VR Config中的Resolution设置补偿——单眼分辨率可以 降低，WibbleWobble会将图像放大到显示器的分辨率。

复杂的安装
必须安装SteamVR。驱动程序通过Install.bat以管理员 权限注册，之后必须手动向config\steamvr.vrsettings文件添加两行： "forcedDriver": "WibbleWobbleVR"和"activateMultipleDrivers": "true"。 然后在STANDING ONLY模式下完成Room Setup。任何步骤出错，立体效果就会消失， 你会得到一个黑屏，且没有关于原因的明确消息。

OpenVR本身的限制
某些设置无法即时更改。如果你更改分辨率或输出速率， 需要重启SteamVR。这是平台限制，不是程序限制， 但它明显减慢了游戏调校速度。

渲染优化会破坏某些游戏
VR Config有一个Optimise Single Eye参数，允许只渲染一只眼睛 或两只眼睛以半FOV渲染。项目作者直接警告：“Both”模式是最 有问题的——可能出现暗角和眼睛不同步，图像可能会 “偏移”。在某些游戏中，优化将不得不完全关闭。

争夺窗口焦点
某些游戏不会将焦点交给WibbleWobble界面： SHIFT + END组合键不会触发，或者UI被绘制但无法控制。 你必须通过ALT + TAB手动切换。 一个单独的问题：WibbleWobble窗口不能被关闭—— 程序之后不会恢复，游戏将不得不重新启动。

每次启动都要重新居中
每次启动时都必须手动将追踪居中（SHIFT + .），精确放置在屏幕前方工作区的中心。如果居中时头部不在该位置，重投影就会开始表现异常，比例也会“漂移”。据作者自己承认，要命中正确位置需要练习。这可以通过使用更智能的追踪软件在以后修复。

各个应用程序的怪癖
有些程序只能与特定品牌的头显配合使用。对于它们，VR Config 有一个头显识别参数，使 WibbleWobble 将自己呈现为不同的设备——例如 Vive——没有它，头部追踪在 DEOVR 中就无法工作。换句话说，某些地方的兼容性依赖于这样的变通方法。

与第一条路径的共同点
所有与硬件有关的内容对两种方法都适用：残余串扰、对快速面板的要求、对精确眼镜同步的需求。立体输出、发射器、BFI 和 CRT Sim 无论立体图像对来自哪里，工作方式都相同。