阅读 · ArtiFixer · SIGGRAPH 2026 · NVIDIA Toronto AI Lab

从 3DGRUT 到 ArtiFixer3D：一个“先重建、再生成、再蒸馏回 3D”的闭环

显式 3D 重建负责一致，生成式先验负责想象，两者轮流出手——一个能闭环迭代的修复管线。

我对这篇的兴趣不在“又一个修 artifact 的模型”，而在它把两个一直互相看不顺眼的东西——显式 3D 重建和生成式先验——用一个闭环缝在了一起。重建的强项是 3D 一致，弱项是没见过的地方只能瞎填；生成模型正好反过来，能脑补但帧间对不上。ArtiFixer 让它们轮流出手：重建出一个有瑕疵但一致的底，生成模型把它修干净，再把修过的帧蒸馏回一个新的 3D 表示里强行对齐，然后再修一遍。

核心问题

稀疏视角重建在训练视角附近好看，相机一走开就开始飘 floater、糊、破洞。原因很朴素：重建是拟合，没有“世界本来该长什么样”的先验。纯 3DGS/NeRF 是 3D 一致但不会脑补；纯逐帧 2D 修复会脑补但换个角度就闪。ArtiFixer 不二选一，让两者轮流。

推理闭环：重建 → 生成 → 蒸馏回 3D

主轴 ①→⑥ 是一次推理；真正的题眼是 ⑤ 回到 ④ 的那条发光曲线——3D 与 2D 来回振荡，越修越干净。下面一排 ⑦→⑩ 是训练三阶段，把权重以虚线喂给 ④。

Reasoning loop · ArtiFixer

重建出一个一致的底，生成把它修干净，再用 3D 强行对齐——然后再修一遍

主轴 ①→⑥ 是推理闭环，⑤ 画一条发光曲线回 ④ 就是题眼；下面一排是训练三阶段，权重虚线汇入 ④。Hover 任一节点看四行细节与我的判断。

三条贡献

把生成先验装进 3D 重建

来源 ④ + ⑤

没观测到的区域也能补出合理内容

3D 仲裁带来视角一致

来源 ⑤

比逐帧 2D 修复更不闪、几何更稳

闭环可迭代精修

来源 ⑤ → ④ → ⑥

ArtiFixer3D+ 在更干净的底上再修

结果

只用三张原图，绑在对应模块上：teaser 是输出 ⑥，方法总览是核心 ④，去噪步骤挂在评测旁——悬停图里的节点也会浮出同一张图。

ArtiFixer teaser — clean novel-view roaming — **Fig.1 · ⑥ Output.** 随手拍进去，干净一致的漫游出来。

ArtiFixer method overview — **Fig.2 · ④ ArtiFixer.** 把 NVS 当视频生成：沿轨迹自回归修复，时序一致即视角一致。

ArtiFixer denoising steps — **Fig.11 · 去噪步骤.** 一步步把瑕疵渲染收敛到干净帧。

我的判断 / 后续

这套“想象力来自生成、一致性来自显式表示、两者轮流”的范式不止能修重建。任何“先有个粗结构、再补全/精修”的活都能套：粗 mesh → 生成贴图 → 烤回 mesh；粗动作 → 生成补全 → 约束回骨架。
要小心的地方：生成先验会“合理地编错”——纹理几何看着对、其实不是真值。3D 仲裁能压一部分，但压不干净。做数字孪生、检测这类要测量精度的活，得对这点有数。
我自己会怎么用：当成“随手拍 → 干净漫游”的工具链。COLMAP → prepare → ArtiFixer → ArtiFixer3D 这条线，基本就是一个 capture-to-clean-3D 的成品。