用A4纸当屏幕「播放」宫崎骏动画，随意抖动都毫无破绽

有什么上菜的小技巧吗。不抖的那种！

如果没有，看看这个:不管你怎么动，盘子和食物都安然无恙。

Emmm...其实仔细看还是能发现这不是上菜的妙招这个盘子和热狗不是粘在一起的，是后来合成的

播放人工智能合成图像的研究人员来自香港中文大学，浙江大学和英伟达。

除了空降一盘热狗，他们还把宫崎骏其人的《我的龙猫》搬到了一张白纸上，任何弯曲或移动都不会影响播放。

这张白纸没有经过特殊处理，我们看到的画中画也是AI合成的。

可是——众所周知，视频不能p，所以是真的！

另外，这些人改变了小电视的眼睛和嘴巴的颜色。

现在，相关论文已经收录在图形峰会SIGGRAPH Asia 2022。

我们来看看他们究竟是如何实现这些神操作的。

利用神经网络实现纸上视频

如何把抖动纸上的一张图变成另一张图，让人几乎看不出p图的痕迹。

第一步，收集各种资料以梵高的《星空》为例首先，在不同的角度，光照条件，晃动条件下拍这张图

光流是什么呢:在计算机视觉中，光流是一个关于物体运动的概念，可以表示为连续两幅图像中代表同一目标的像素的位移。

为了实现丝绸般逼真的视觉效果，研究人员提出了一个新的框架NeuralMarker，来捕捉标记和参考图像之间的密集对应关系。

从这个框架的名称中的Neural，我们可以看出它与神经网络有关系。

比如把动感的星空变成日本名画《神奈川冲浪》就是酱紫:

其中只有NeuralMarker是成功的，这个模型成功的关键因素在于它的两个组成部分和一个标记评估方法:

1.飞行标记捕捉几何变化

首先，为了处理像素级的密集对应，运动调节器必须能够实时捕捉各种几何变化。

研究人员通过使用拍摄的材料，一些人工标记和合成的参考图像作为数据集，训练了一个名为FlyingMarkers的工具。

在FlyingMarkers的帮助下，运动调节器可以对各种变形进行编码，从而捕捉大多数几何变化。

2.SED+SfM捕捉亮度和颜色的变化

除了几何变化，颜色和亮度的变化也至关重要。

研究者指出，在训练模型的数据集中，连续动画外观变化不大，最后要求把一张图换成另一张图，外观差别明显。

因此，他们提出了对称极距损失的概念，并结合运动重建结构技术，根据相机的拍摄角度约束密集对应的预测。

这样即使在暗光下拍原图，也能有很好的生成效果。

3.DVL标记的评估

从几何变形，摄像头角度，光照三个方向进行评估。

经过测试，研究人员发现，使用DVL标记，这种AI模型的图像质量评价指标SSIM和PSNR的性能优于同类模型，任务成功率达到100%。

有了这些工具的加持，NeuralMarker也可以解决在纸上播放视频的问题。

看到这里，大家应该觉得这个AI已经溜走了，但还没完——

对此，他们表示会在训练数据集中随机添加拦截器，让这个AI变得更加智能。

论文地址:

参考链接:

。