作者|鹿尧
(资料图)
80年代,灯红酒绿的香港,锦衣夜行的武侠剑客、打拼江湖的英雄好汉,在银幕上掀起了一波又一波的热潮,比如徐克导演的《蜀山·新蜀山剑侠》中,郑少秋扮演的紫衫剑客挥剑破空踏云而来,每一个眼神、每一次剑舞,描绘出那个年代人们的武侠梦。
那时的港片红极一时。无数明星为整个亚洲标明了他们的黄金时期,无数经典角色和场景留在记忆里,成就许多人的情怀。然而,当我们再次重温这些影片时,却发现那些令人印象深刻的神情、飞舞的长发、以及锐利的剑影,随着时间的推移,已经变得模糊、昏暗、不清晰。
这种与记忆中的映像差距,让许多经典无法完美地被传承下去,也与新一代的观众产生了难以跨越的鸿沟。
一个时代的重生,总是技术与艺术、商业与情怀的完美融合。如今,抖音和火山引擎见证了这片历史的痕迹,他们和中国电影资料馆共同发起了“经典香港电影修复计划”,打算修复100部经典影片,其中10部为“人工+AI”精修,其余90部为机器修复:
用深度学习模型,针对胶片损伤进行自动检测,模糊、撕裂、褪色、划痕等问题在AI的帮助下被快速识别;使用基于stable diffusion的视觉大模型的生成能力,对每一帧影像进行修复,将模糊、磨损的港片重新翻新,解决了老旧影片的画质损伤,比如将在黑暗的场景中被掩盖的细节变得更清晰,褪色的场景变得鲜艳。
这不仅仅是技术展示,更是对于香港电影历史的致敬,为那段经典时光的传承找到了一个全新的方式。在火山引擎视频云的支持下,观众们再次看到的,不仅是明亮、清晰的画面,也是那个年代,那些英雄和情怀的真实还原。
01
老港片的新技术革命
多年以前,胶片技术成为主流,很多港片都是在胶片上进行拍摄和保存的。
诞生于上世纪四十年代之前的影像胶片,几乎都是硝酸片基,这种材质超过40度极易自燃,后来采用醋酸片基,但时间长了,老电影的画面就会出现褪色、扭曲、酸变等非常多的瑕疵,加上存储过程中,难免遇到不恰当的温湿度并被反复搬运,经年累月,影片会遭受撕裂、霉变等损伤,以及反复放映导致的划痕、闪烁、丢帧、画面模糊等问题。
这些损伤不仅体现在视觉上,它们还遮蔽了影片原本的美学价值。例如当火山引擎的团队深入到《蜀山·新蜀山剑侠》的修复中时,他们也面临了同样的困难。
这部经典之作,和许多其他老港片一样,画质损伤十分严重,加上本身人物场景丰富多样,又增加了修复难度。有修复人员表示,“《蜀山·新蜀山剑侠》里打戏非常多,人物拖影太大,这靠人工就很难去完全解决。”
传统的修复技术,主要是依赖人工逐帧进行,一部电影胶片大概有12到15万帧,往往需要十余人的修复团队共同完成,平均每人需要负责一万多帧,修复一部影片甚至要花费数年时间。除此之外成本也高,并且受早期的设备和存储方式限制,以及拍摄年代、方式等不同,在处理清晰度、流畅度等方面仍少不了局限,最终的画质也参差不齐。
举个例子,像《蜀山·新蜀山剑侠》这类有众多武打场景的电影,有快速的动作和切换,靠传统技术常常难以准确捕捉,这就导致画面拖影的问题一直很难解决。
另一方面,影片修复不仅仅是为了提高清晰度,更重要的是,还要保留老片的年代感,实现“修旧如旧”。火山引擎的修复团队也强调,过于现代的修复方法,反而会使电影失去原有的氛围和情感。
毫无疑问的是,这些问题,都在将他们的修复计划推向一个更加困难的高度,老电影的确亟需新的技术手段来重获新生;另一方面,修复的过程并非坦途,但此时如果回到火山引擎本身,还原他们的初衷,或许也能够解释出这件事的必然性。
火山引擎作为字节跳动旗下的云服务平台,虽然直到2021年才正式对外发布品牌,但已经在视频技术上积累了相当丰富的经验,基于抖音亿级DAU打磨的音视频技术沉淀,视频云就是其重要的能力板块之一。
从产品的角度来看,火山引擎视频云的存在,是为了面向体验打造出集视频点播、直播、实时音视频、智能处理、云游戏等一站式音视频服务,为用户提供互动、播放、画质、性能于一体的极致体验。
而这些都是基于过去在业务上的技术能力积累,比如早在2021年,火山引擎就曾联合西瓜视频发布“经典中视频4k修复计划”,一年内将包括《大闹天宫》、《九色鹿》在内的百余部经典中视频进行4K修复,其中很多能力,就是经过内部业务大规模验证和持续迭代的结果。
时间推移,火山引擎视频云的能力象限不断升级,投射到这次修复老港片的项目,也是他们的一次尝试。
02
旧的时代与新物种
如果从电影修复的几个环节来看,也很容易发现这次火山引擎港片修复计划带来的不一样。
在常规的清洁、借补胶片的物理方式基础上,他们将传统人工与AI算法修复相结合,包含了AI修复和艺术修复两个重要环节,修复画面和音效损伤的同时,进一步去还原色彩、优化画质。而在AI修复的实践里,最大的技术亮点就在于:首次将视觉大模型应用到老片修复。
这背后的考量其实还有很多。
不同于过去,火山引擎使用的是基于Stable Diffusion的视觉大模型,后者拥有更强的生成能力。因为有了更大的数据规模、更多的模型参数、更丰富的算力以及更先进的算法设计,AIGC模型才可以生成更逼真、多样且更好泛化能力的内容。
另一边,有足够的研究证明,从大数据集中提取的先验知识,对于提高模型性能至关重要。尤其是面对像老片修复的特殊任务:场景数量有限,且退化模型复杂繁多。所以相比过去“为特定任务定制”的模型,修复团队更需要的,是一个能够从大数据集中学习大量先验知识的生成模型。
这样一来,从技术和影片需求角度来看,视觉大模型的强大生成力和深厚的先验知识,能够针对解决老片的各种损伤,无论是清晰度、色彩、流畅度还是瑕疵,都能给港片带来全面的画质提升,让内容的纹理细节更加细致逼真。
“为了更好地用这些先验知识,我们的基准模型已经在数百万张图像上完成迭代和训练,还叠加了自己的老片修复网络。”团队成员补充道。
实际上,视觉大模型在处理修复过程中,仍会出现如效果不稳定、算力消耗巨大但效率低下等问题,针对老旧电影修复的特殊场景,火山引擎多媒体实验室对视觉大模型做了三个层面的算法优化:
在图像生成方面,通过控制模型的边界条件、强化高质量生成空间等手段,显著提升大模型的图像输出质量;在视频场景里,通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段,让大模型在修复的过程中可以使用前后帧的信息,更好地处理视频任务;同时,火山引擎还携手Intel在算法和工程上进行了多项优化,能显著提升大模型在4K场景下的处理效率并兼顾算力成本。
港片中的真实拍摄场景复杂,特别是画面中的人像部分。对于不同画质的影片,团队使用了不同的人像解决方案。比如早期电影拍摄制作方式简陋,部分武打镜头会有威亚的部分残留,火山引擎团队优化了去划痕算法,在消除威亚痕迹的同时,不影响主体画面的完整性。
再比如流畅度方面,火山引擎自研了一种智能插帧算法,用于处理如武打场景中的高速动作。通过对前后帧的内容进行分析,生成中间帧内容,提升帧率,减少卡顿感。当我们欣赏修复后的成龙出演的《A计划》时,每一场紧张刺激的追逐和激烈打斗都得到了细致流畅的呈现,让观众沉浸在一种更加真实的观影体验中。
此时你会发现,当视频云具备成熟的AI技术,并且将它运用在实际场景中解决问题,这其中不仅会发生奇妙的化学反应,还向外界证实了一个新的思路,将AI技术发展在视频应用上这件事,不仅有效,而且非常有前景。
03
AI和视频没有边界
其实早在多年以前,就已经有不少互联网公司开始参与到老电影的修复中来,例如爱奇艺曾推出“全球经典拷贝修复计划”,将影片清晰度提升至4k;优酷也将影视的修复计划纳入过业务当中。拯救经典老片甚至已经成为全球范围内的共识。
近年来,随着AI技术的迅速发展,智能创作成为了AI+视频的重要方向和落地场景,不仅展示了AI在视频领域的巨大潜力,也进一步深化了AI和视频之间的密切关系。
在刚刚过去的8月22日“火山引擎视频云&AIGC技术大会”上,火山引擎总裁谭待将当下形容为一个“全视频化时代”:全天无休不停歇带货的数字人直播、虚实融合远程监控车辆状况的智能车控、突破空间随时提供服务的金融智能客服......视频化的应用场景已经渗入到我们生活的方方面面。
他们发现,在全行业加速视频化的进展中,社交、资讯、电商、音乐等各类应用,逐渐将视频类功能视为增强用户粘性的重要手段,截至 2022年4月,使用率前100的App里,有69%具备点播、直播等视频功能;随着消费互联网到产业互联网的不断渗透,视频类功能在行业的地位将变得更加重要。
在这一过程中,以AIGC为代表的AI能力、Apple Vision为代表的MR/XR等技术迅速崛起,虚拟游戏、远程直播......现实与虚拟世界的壁垒被打破,用户对视频的体验不仅仅在于看见,对更加清晰、沉浸、智能的要求也越来越高。
而企业面临的主要问题,是如何拥有并利用好AI和视频技术,来满足终端用户这些日益增长的需求。
通过这次大会我们了解到,在这样一个时间节点,火山引擎借助智能创作产品的AIGC能力升级了视频云的解决方案,进一步降低了视频制作门槛,作为字节跳动能力溢出的一个方面,帮企业解决音视频方面的技术挑战。回顾很长时间以来团队所做的事,像之前修复老动画、演唱会等等,背后都是长时间技术经验的累积。
回到一开始的港片修复这件事上,在影视文化中,老电影占有不可撼动的地位,通过AI技术和人工修复的结合,电影修复的流程不仅会更加高效,而且在保证质量的前提下,能达到一定的标准化。这意味着,AI重现历史情怀的同时,将整个行业推向更加健康的方向发展,也是科技深入生活场景的又一个缩影。