|
作者 / Pel 编辑 / 彼方 “一种十分吃后期的转描动画。” 这两天，一个叫做《石头剪刀布》的动画短片忽然在动画圈子里火了起来。 影片讲述了一对双胞胎王子经过“石头剪刀布”的方式争夺王位继承权的故事。其中令人捧腹的无厘头剧情以及模仿日式动画的沙雕演出，让很多人印象深化。 但它的火爆，最主要还不是由于讲了什么故事，而是由于—— 这是一部运用AI工具制造的动画。 在AI大举“攻占”围棋、绘画、文书等范畴之后。再一次，连「动画」这样一个流程相当复杂的行当，也要被“取代”了吗？
我知道你可能很焦虑，但能够先别焦虑。本篇推送，学术趴就为各位分享这部AI动画的「制造难点」「制造流程」以及我们的「观后感受」。无妨先一同来看一看这部动画是怎样做的，制造方是生动于特效范畴的YouTube博主Corridor，发布这部动画的同时，他们也公开了自己的制造幕后。 了解之后，或许你不只能加深对AI动画的了解，还会发现：至少这部片子的制造背地并没有什么惊天地泣鬼神的AI进化，主要仍是现有技术的整合，有不少“取巧”的成分，无妨说——是一种十分吃后期的转描动画——AI仍是我们挥洒创意的工具啦。 *动画短片原网址：https://www.youtube.com/watch?v=GVT3WUa-48Y *幕后揭秘原网址：https://www.youtube.com/watch?v=_9LX9HSQkWo 01 技术难点 这部短片制造的整体思绪是——把实拍影像变成动画。只不外手段不是让动画师「转描」也不是用昂贵仪器「动捕」，而是用机器学习模型Stable Diffusion把图像逐帧转化为动画作风。 没错，图像参考来自实拍，不是用关键词直接生成的，所以不会呈现“画不来手”的状况。 听上去很简单，我们都已见过AI绘画的能力，但此前为什么很少有成熟的动画作品呈现呢？ 技术难点之一在于消弭“噪点”。 AI（至少Stable Diffusion）转换图像画风的工作原理，就是经过公式和学习，获取图像数据，并添加噪点、删去噪点，再恢复图片的过程。 我们都知道实拍和动画的实质都是连续的图像，问题在于AI给每一帧转换作风之后，帧与帧差别相当之大，衔接起来的结果相当【怪异、不流利】
假如在一段时间内冻结噪点，就能够得到较为连续的画面，但结果会很有涂抹感，细节也时隐时现； 他们的处置计划是逆向操作，直接把原来的画面帧生成噪点图，再把噪点图掩盖在原视频上，噪点就不会过于随机地改动，也不会不时停在原地。
① 普通的效果
② 锁定噪点的效果
③ 反转噪点的效果 技术难点之二在于坚持画风 动起来之后，依然会遇到“闪烁”的问题，每一帧的画面作风并不统一。
他们的处置计划，是用Stable Diffusion锻炼作风模型，采用了Nitrosocke的Diffusion模型，将图像调整成特定作风。
用这种模型生成的“迪士尼作风”和“双城之战作风” 为进一步处置各种五官、褶皱的细节混在一同的缺陷，他们会特地锻炼单个演员的模型（统一绿幕背景+服化道），提升帧与帧的连续性。
假如还不够衔接明晰，就运用去闪烁的特效插件。 接下来就能够“拍”动画了。 02 流程引见 step1 “拍”动画！ 首先，最灵魂的编剧、分镜、表演编排，依然是由人类创作的。 然后录制台词、准备服装（corridor直接选择网购低价制服，特别是他们选了有很多纽扣的衣服，其中复杂的纹理在手绘动画中并不常见）。 准备好之后，在绿幕面前摆外型，截取单帧。（不配口型，只需不时阿八阿八） 全程只需两个人担任摄影和打光，究竟他们想要靠近的手绘动画质感，其光影原本就不会太复杂。
step2 锻炼每个演员的模型 依据上述原理，让AI依据实拍逐帧“转描”实拍的画面。用Stable Diffusion锻炼能够将【演员】与【模仿作风】对位转换的模型 他们对标的作风是日本动画名作《吸血鬼猎人D》（我们曾发表文章深度解析过这部作品，点击阅读：赛璐珞动画的巅峰之作——瑰丽两字远缺乏以形容它），截取了上百个不同角色/物件、不同景别的截图用于锻炼。
其中遇到一个问题：演员有胡子，而《吸血鬼猎人D》里的角色大多没有，直接生成会很紊乱。处置计划便是再做几个演员形象的动画滤镜，跟《吸血鬼猎人D》截图一同放进资料库锻炼。 step3 实践生成图像 在这一环节，创作者化身“召唤师”，用添加关键词、扫除关键词、来回调整细节数值的措施，将实拍画面批量生成为24帧每秒的“动画”。这可能是全程最无聊最机械的一个环节。 操作界面
调教好作风之后的效果 其中会有1-2帧略显腾跃，corridor的处置计划也相当简单粗暴，将镜头放入视效合成软件Fusion，参与防闪烁插件，设置为fluoro light方式，一个节点不够，就再贴一个。 肉眼觉得足够流利之后，将角色从绿幕中抠出来，帧率减半变为12，使其更像动画、更自然。
step4 处置背景 运用虚幻引擎里的场景（封锁教堂），依据想要的效果微调渲染和光照。找到合恰当作背景的场景，截取4张图片。把截图丢给Stable Diffusion，输入关键词（见下图），进一步转换画风。
step5 合成 将前景的角色和背景合成在一同，添加特写效果。把四张背景贴在一同，高速横向运动，增加含糊效果；需求特写时分拉近到下图中有窗户的位置；参与light rays插件，模仿光照效果。 找几个三维物件（蜡烛台），转换成动画作风，放在摄影机前景，增加含糊效果，使镜头更有摄影机旋转的实感。最后在关键位置加一两条手绘效果线。
最终的效果。
step6 剪辑 剪辑，导出。
高兴的制造团队，只需十余人就在几个月内探求出措施，制造了7分多的动画 03 观后感受 从技术层面上来讲，这个动画的生产流程并没有对技术底层做出较大改造，更多能够视为一次现有技术的整合样例。相比于一味渲染焦虑心情，我们在坚持谨慎察看态度的基础上，也看到了目前AI在动画生产当中的局限。 一方面，固然没有在视频当中明言，但制造团队之所以选择“石头剪刀布”这样的题材，应该还是由于这个题材触及的镜头与场景并不复杂——我们在片中大多看到的是单一角色呈现的场景，角色之间也没有进行直接的交互；分镜方面，镜头的调度和设计也相对简单。 再进一步，片中大量运用了针对《吸血鬼猎人D》这部作品的采样。目前关于AI锻炼的版权争端尚未有定论，如这一流程的运用场景扩展，也势必惹起相关的争端。 不外上述的这些局限能否会在短期内被突破，我们尚未可知，或许很快我们就会看到这种“AI转描”动画迎来宽广的商用前景。笔者不由畅想，好比筹备拍摄某部真人剧集的同时，片方也延聘艺术家（群体）制造大量绘画素材，用于投喂锻炼模型——然后经过算法将真人影视改为动画，同步推出形似神不似或神似形不似的动画版？ 以及，过往就有部分动画人倡导“转描动画也有美学”，好比《怪猫菲力兹》《指环王》动画版导演拉尔夫·巴克希和《爱在黎明破晓前》《阿波罗10号：太空时期的童年》导演理查德·林克莱特，但这种选择一直未能成为动画行业的主流，或许有产能效率的要素，或许有审美惯性的要素。假若攫取实拍素材制造成的动画大行其道，这种比传统动画更奇特/违和的视觉作风，或许会开辟动画艺术新的道路？ 你觉得AI将在何种水平上影响动画的延展？
— 点击图片阅读更多精彩内容 — 油管超人气动画师，来学术趴开课啦！ ChatGPT会取代人类吗？3部动画回答你 研讨日本动画绕不开的学术巨著，终于引进！ |
