S3D 与 WibbleWobble

给好奇的玩家
关于该技术如何构建和工作的通俗描述。 如果您不感兴趣，则无需阅读——这是枯燥的材料。

游戏如何绘制 3D
在游戏中生成 3D 图像的常用方法是渲染场景两次—— 分别为左眼和右眼，虚拟地将摄像机相对于场景中心移动。 这非常消耗资源，并且需要游戏引擎的内置支持。 并非所有游戏都能做到这一点。WibbleWobble 提供了 两种不同的路径，它们之间的区别 是根本性的——它决定了图像质量和图像伪影的类型。

路径一：ReShade 客户端 - 从平面帧合成立体
游戏渲染一个普通的单一视图。SuperDepth3D ReShade 效果获取该帧以及 场景的深度缓冲区，并根据深度移动像素来重建第二个视点。 游戏引擎对立体一无所知。这在性能方面成本低廉，并且几乎适用于任何 DX11/DX12 游戏。 代价是该方法本身固有的伪影。它们将在下面的“缺点”部分中描述。

路径二：OpenVR 客户端 - 真正的 3D 渲染
WibbleWobble 在 SteamVR 中将自己注册为虚拟 VR 头显。支持 VR 的游戏或带有 VR 模组的游戏， 会从两个相隔瞳距的摄像机渲染场景两次，就像真正的头显所做的那样。 IPD、每眼分辨率和焦距在 VR 配置中设置。这里 WibbleWobble 不合成 任何东西：它获取现成的立体对，并以帧序列方式输出到屏幕， 同步快门眼镜。这在性能上成本更高， 但 3D 几何形状绝对正确。没有轮廓孔洞，没有“纸板”效果； 每只眼睛都能获得自己的反射和高光。本质上，这是一种在普通显示器上使用 3D 眼镜 但无需头显来玩 VR 游戏的方法。

重投影 - 视野扩展机制
重投影在两种模式下都有效，包括单目模式。 一个高性能着色器获取游戏帧并将其映射到您工作空间的几何形状上： 映射到单个显示器、四个显示器或曲面屏幕上。 通过头部追踪（OpenTrack），图像会跟随您的头部移动，显示器 开始充当进入虚拟世界的窗口——“VR 鱼缸”效果。 重投影的目的是为多显示器使用获得正确的世界比例和正确的视野（FOV）。 可以完全关闭重投影（客户端配置 -> 重投影：禁用），仅使用立体输出、 BFI 和升频器——这是单个显示器的常见场景。
* 必须说明的是，项目的作者对“将世界扩展到多个面板”的想法过于 乐观。即使是强大的显卡也没有足够的性能来支持这一点。如果速度 足以支持单个 4K 显示器，您就很幸运了。多个显示器是行不通的...

FOV（视野）：视角。它决定了虚拟摄像机在帧中捕获世界的哪个扇区。 以度为单位测量，分别针对垂直和水平方向。 小的 FOV（40-50°）看起来像长焦镜头：狭窄的扇区，物体很大。 大的 FOV（100-120°）是广角，像运动相机。您可以看到两侧很多内容， 但边缘被拉伸，物体看起来更远更小。这是 WibbleWobble 中的一个关键参数。 程序必须知道游戏绘制帧时的角度， 才能将其正确地投影到您的物理显示器上。 这就是为什么游戏配置有两个字段，FOV 垂直和 FOV 水平，有一个要求： 该值必须与游戏中设置的值匹配。更改一个值， 另一个值将根据窗口的宽高比自动重新计算。

如果 FOV：
太大，世界看起来像玩具，物体比例失真
太小，世界看起来巨大，一切都在您面前显得庞大
在 3D 中，深度会随着比例一起破坏，导致眼睛疲劳

头部追踪作为“世界之窗”
使用 OpenTrack 方法，应用程序处理程序追踪头部的 位置并移动投影，使显示器渲染 进入 3D 场景的虚拟窗口。这会产生视差效果。 当您移动头部时，图像会轻微移动， 就像您真的在透过窗户看一样。

帧序列立体输出
应用程序以可变速率从游戏接收帧，因为它们已准备好， “无论它们如何到来。”然后客户端调整帧率以在 60 Hz 下播放。 立体对的来源可以是 SuperDepth3D、VR 模组或现成的 3D 内容。 WibbleWobble 以并排或棋盘格格式（客户端配置 -> 源格式）接受它， 并在 FrameBufferDecode 中解码。然后渲染器将其转换为 120 Hz 帧序列流， 同时同步快门眼镜。支持以下发射器： NVIDIA 3D Vision、Open3DOLED、DLP 投影仪、3D Ready 以及自制的 Arduino/VESA IR 发射器。

对抗运动模糊和串扰
运动模糊是由显示器产生的模糊。 现代 LCD 和 OLED 面板在整个帧持续时间内保持像素点亮—— 即保持-采样模式。当像素保持点亮并固定在某个位置时， 眼睛会本能地继续跟随移动的物体。 结果，图像在视网膜本身上“拖影”， 即使显示器上的每个单独帧都非常清晰。 像素点亮的时间越长，拖影就越强。该缺陷会隐藏精细细节， 并进一步降低 3D 模式下的图像质量。

为了减少像素的点亮时间，WibbleWobble 提供了两种工具：
黑帧插入 - 在有用帧之间插入黑帧 （客户端配置中的黑帧插入间隔参数）。
CRT 光束模拟器 by Blur Busters - 一个着色器，模拟 CRT 电子束的扫描： 它逐行消隐图像，而不是整个帧。 它提供更好的结果，但对显示器要求很高：需要伽马 2.2 或 2.4， 禁用 ABL/APL，并且 OLED 处于 SDR 模式。在 FALD 和 MiniLED 面板上效果不佳， 因为背光有惯性。

这两种模式不能同时启用。使用 CRT 模拟器时，客户端配置中的黑帧插入间隔参数必须为零。 值得单独强调的是，游戏可能以低于显示器输出帧的速率运行， 程序会填充缺失的帧以达到显示器的速率。但这并不是生成 新的中间图像——而是重复现成的图像。 换句话说，没有重采样方法提供的平滑度。

串扰是指一只眼睛的图像 部分到达另一只眼睛的效果。结果，观看者会看到物体旁边出现双重轮廓或半透明 的“鬼影”。这会降低 3D 图像的质量并减少深度感。 为了对抗这一点，内置了对黑帧插入和 Blur Busters CRT 光束模拟器的支持。 为了全面抑制串扰，使用了一种巧妙的模式：游戏图像以 60 Hz 绘制， 眼镜以 120 Hz 接收同步，并以 240 Hz 的帧重复输出到屏幕。

尽管有其优点，但此方法存在限制， 应单独说明。 它们并非源于程序的不完善，而是源于所选的操作原理。 第二个立体视点不是从场景模型渲染的，而是从 已经完成的帧和深度图重建的。如果源帧中没有关于前景物体后面隐藏了什么的数据， 就没有地方可以恢复它。

物体边缘的孔洞 - 遮挡解除
这是该方法的主要缺陷。当程序为第二只眼睛 或头部转动移动视点时，源帧中被前景物体边缘隐藏的部分背景 应该变得可见。但没有人渲染那些像素—— 它们物理上不存在。程序没有东西可以填补这个空白，因此它 要么拉伸边缘像素，沿着轮廓产生“橡胶状”的模糊光晕， 要么替换一个“看似合理”但通常不正确的补丁。 视点移动越强，光晕带就越宽。这不是实现错误， 而是方法本身的限制：您无法从单个图像中提取 隐藏在物体后面且在其中不可见的内容。

头部运动放大失真
在普通立体中，视点之间的距离很小且恒定——等于 瞳孔之间的距离。但是使用“世界之窗”，头部在各个方向移动数十 厘米，因此相对视点移动 比自然移动大很多倍，孔洞和拖影也更大。 结果是这样的：坐着不动，几乎没有伪影，但 3D 效果也很弱； 移动很多，效果有了，但物体边缘的一切都是模糊和浮动的。

图形依赖于深度图
程序需要关于场景中每个点距离的正确信息。 游戏并不总是提供它，或者提供全部。透明表面——水、玻璃、烟雾、 火、树叶——通常没有详细的深度，或者引擎根本不创建它。 结果，物体最终出现在错误的距离：水粘在错误的地方， 烟雾加倍，粒子悬浮在空中不同的位置。除此之外，并非每个游戏都会输出 兼容的深度缓冲区——有些是反转的，有些是受保护的且无法读取。

反射和高光破坏最严重
镜子、水、湿沥青和金属由其自身表面的深度定义，而不是由 其中反射的图像定义。当视点移动时，反射会漂移到 未知的地方。如果高光被“绘制”到表面上，它的行为不会像 在现实世界中那样。正是最引人注目的光泽 内容在立体中看起来平坦且错误。

界面、准星和 HUD
帧顶部的二维元素——生命条、菜单、准星——是在 零深度绘制的，因此处理后它们最终会出现在错误的立体距离处。 界面要么陷入屏幕，要么悬在场景前面。准星本身就是一个 麻烦；它的深度位置几乎总是需要手动调整。

双眼共用一帧
两只眼睛看到相同的图像，只是移动了。使用真实的 立体渲染，每只眼睛都能获得自己正确的高光、阴影和折射； 这里不会发生这种情况。因此，物体看起来像是扁平的层， 像胶合板切割出来并按深度排列，而不是体积物体。 在英文材料中，这种效果被称为“纸板剪裁”效果。

每游戏调整
视野、深度范围和会聚度是为每个游戏 单独手动设置的。设置错误会导致过度会聚引起的眼睛疲劳，或者 错误的缩放比例，使世界看起来像玩具或巨大，甚至 深度完全反转。这是一个“调整并弄清楚”的解决方案，而不是一个 “安装即玩”的解决方案。

延迟和不均匀帧
游戏不均匀地渲染帧，客户端通过重复现成的帧 将它们适应显示器的稳定 fps。 重复本身不会引入失真，但动作和图像之间的延迟会累积：帧捕获、处理、输出。对于头部追踪， 任何此类延迟都会感觉像是场景的“浮动”。游戏配置中有一个 帧捕获延迟参数，用于调整捕获时刻。

残留串扰和对显示器的高要求
软件技术——黑帧插入和 60/120/240 模式——抑制鬼影， 但不能完全消除它，因为串扰由许多因素决定： 显示面板和眼镜本身的物理特性。它取决于像素响应时间、 切换速度、眼镜镜片的对比度以及屏幕的垂直绘制速率。 此外，最激进的模式需要快速的 240 Hz 面板，具有短 像素持久性，并非每个用户都有。 与 NVIDIA 3D Vision 不同，ReShade 不复制 现成的体积，而是从平面帧合成它。这就是为什么轮廓孔洞、 不正确的反射和浮动边缘是该方法的稳定伪影， 而不是暂时的缺点。

这里的立体几何是真实的，并且所有图像合成伪影——遮挡解除、“纸板”、 破碎的反射——都不存在。但这种方法也有其自身的代价，而且是不同的代价。

游戏必须支持 VR
这是主要的限制。该方法不适用于任意游戏：它需要内置的 VR 支持或 VR 模组。如果不存在现成的模组，OpenVR 路径将无法工作， 只剩下 ReShade 及其所有伪影。 换句话说，第一条路径存在的广泛兼容性 在这里完全丧失了。

显卡双倍负载
场景确实被渲染了两次，来自两个摄像机。没有 重投影单个视图所提供的节省：性能下降就像在真正的 VR 中一样。 这可以通过 VR 配置中的分辨率设置部分补偿——每眼分辨率可以 降低，WibbleWobble 会将图像放大到显示器的分辨率。

复杂的安装
必须安装 SteamVR。驱动程序通过 Install.bat 以管理员 权限注册，之后必须手动将两行添加到 config\steamvr.vrsettings 文件中： "forcedDriver": "WibbleWobbleVR" 和 "activateMultipleDrivers": "true"。 然后以仅站立模式完成房间设置。任何步骤出错，您将得到 黑屏而不是立体，并且没有关于原因的明确消息。

OpenVR 本身的限制
某些设置无法即时更改。如果您更改分辨率或输出速率， 则需要重新启动 SteamVR。这是平台限制，而不是程序限制， 但它会显著减慢游戏调整速度。

渲染优化破坏某些游戏
VR 配置有一个优化单眼参数，允许仅渲染一只眼睛 或两只眼睛以一半 FOV 渲染。项目的作者直接警告：“Both”模式是最有问题的—— 可能出现渐晕和眼睛不同步，并且图像可能会 “移动”。在某些游戏中，将不得不完全关闭优化。

争夺窗口焦点
某些游戏不会将焦点交给 WibbleWobble 界面： SHIFT + END 组合键不起作用，或者 UI 被绘制但无法控制。 您必须通过 ALT + TAB 手动切换。 一个单独的问题：WibbleWobble 窗口不能关闭—— 程序之后无法恢复，游戏将不得不重新启动。

每次启动都需要重新居中
每次启动时都必须手动居中追踪（SHIFT + .），精确地定位在 屏幕前工作区的中心。如果头部在居中时不在那里， 重投影开始表现异常，并且缩放比例“漂移”。 根据作者自己的承认，找到正确的位置需要练习。 这以后可以通过使用更智能的追踪软件来修复。

个别应用程序的怪癖
某些程序仅适用于特定品牌的头显。对于它们，VR 配置 有一个头显识别参数，使 WibbleWobble 将自己呈现为不同的 设备——例如 Vive——没有它，头部追踪在 DEOVR 中就无法工作。换句话说， 兼容性在某些地方依赖于这样的变通方法。

与第一条路径的共同点
关于硬件的所有内容对两种方法都适用：残留串扰、 对快速面板的要求、精确眼镜同步的需要。立体输出、 发射器、BFI 和 CRT 模拟器的工作方式相同，无论立体对来自何处。