随着人们文化娱乐消费的逐年增加，泛娱乐社交行业迎来了爆发式增长。同时，云计算、人工智能、5G、物联网等新一代信息通信技术的快速发展，以及硬件技术的变革，都为泛娱乐产业带来了广阔的发展机会。在新一轮娱乐社交赛道的角逐中，成功的机遇在哪里？ 近日，在网易智企主办的MCtalk泛娱乐科技峰会上，火山引擎AI组计算机视觉方向负责人范青发表了主题为《AI智能互动美化特效促进内容生产与创新》的演讲，分享了字节跳动多年来在“特效引擎+CV算法”与互动娱乐场景的结合与落地经验，以及智能互动美化特效作为增长工具服务企业的技术能力。以下为范青演讲全文： 大家好，我是来自字节跳动火山引擎AI组计算机视觉方向的范青。今天是一个泛娱乐峰会，我想先跟大家分享一下在娱乐方向上我们所做的工作。首先我想介绍一下我们的火山引擎AI计算机视觉团队，我们是面向企业的智能技术团队，可以通过火山引擎把字节多年沉淀的有经验的组件提供给企业的开发者们。6月10日有一场火山引擎的品牌发布大会，欢迎大家关注。 特效场景篇 我想从特效的场景切入正题。字节跳动是一家拥有多产品矩阵的公司，在很多的业务场景下都落地了互动美效的功能，比如大家很熟悉的抖音上的特效，像国漫动画风、日漫动画风以及虚拟人相关的特效，在我们的业务里面随处可见。以抖音为例，作为内容平台，消费者同时也是生产者，想提升平台的活跃度，一方面需要把消费者转化成生产者：我们的智能视觉特效和智能创作就可以助力用户以低门槛高效率的方式生产内容；另一方面，在消费端通过推荐算法进行精准的内容分发，提升视频的消费，从而形成生产和消费的闭环。字节的算法能力大家也比较了解，我就不赘述了。 在直播场景，分为开播端和观众端，开播端的主要用户是主播，对主播而言，刷礼物是直接的直播收入来源。我们的特效能力可以帮主播定制化礼物，比如可以生成带有主播照片的礼物，给主播进行排面展示。这种定制化的礼物在排行榜上同级别礼物中销量排名前二，购买率非常高。同时，直播场景触发云渲染的技术，现在还是有非常多的下沉市场用户使用的手机配置较为有限，为避免用户因终端算力的问题而影响了互动的体验，我们也做了一些研发的工作，使渲染工作在云端上完成。另外，也有一些主播不愿意露脸，Animoji虚拟形象功能可以贴合主播自身的形象，上线之后也得到了非常好的用户收益。 在观看体验的提升方面，我们采用了自研的算法来实现自适应锐化，使得观看端可以以高清档位（720P）自适应的方式观看，从而使整个画质更加透亮清晰，提升观感。 在短视频的场景下，抖音上近期流行的玩法是“芳心收割攻略”，这个特效与运营联动实现，只有通过运营的同学运营起来，并有相关的用户参与和热点才能发挥最大的价值。 另一个近期的爆款特效是用到了生成对抗网络算法的“只有淡妆”，这个特效在上线18天后就在抖音的内部评级达到了“S”级，这是近半年来比较明显的成绩。 除此之外还有地标AR，这也是我们在商业化探索中的一部分。我们对成都IFS(国际金融中心)的建筑物做了特效的附着，整个流程涉及到了采集、云端渲染等相关的能力去进行展示，这个实践也能够融合到文旅方案，为旅游产业，或者是博物馆带来一些体验和商业上的升级。 此外，在一些泛互娱乐场景下，比如在线教育，瓜瓜龙英语的趣味游戏功能卡能让年纪较小的孩子在初级体验课里展示自己的学习成果，这个功能卡片的受欢迎度排名第二，孩子们非常喜欢用这个卡片和老师互动。 还有智慧大屏的应用，现在的电视上一些摄像头帮助大家进行家庭的娱乐体验，后疫情时代有很多涉及到健身和电商购物的场景，我们在大屏电视上也做了一些落地，大屏电视的情况比较特殊，因为终端算力本身就不强，它的CPU的能力落后移动手机的一到两代。在这样的较极端的终端场景下的落地特效也是目前在攻克的方向。 特效算法篇 讲完了落地的场景，我想和大家分享关于特效的算法，有三个非常重要的关键词——深耕场景、数据驱动、落地为先。 大家提到人工智能算法，会有非常多的联想，我们进行场景的细化，让算法可以更好的服务用户，关于算法适配相关的是我们非常关注的点。因为在不同的用户体验下，它会分中近远距离，全身半身，横竖屏，以及实时、非实时的处理的要求等等因素，都会影响到算法的结果，因为算法本身是一个比较敏感的模型，模型本身虽然适配很重要，或者泛化能力很重要，但我们在不同的场景下有不同的优化，比如说会议场景或者是短视频场景都会进行不同的模型适配，同时搭配不同的分发策略，这个模型到了大家的手机上也会因为手机的评分去进行不同的模型分发，这是一个非常重的生产工作。 在工程优化方面，不同机型的处理能力又不一样，GPU的表现又不一样，对于机型的评分我们非常关注，我们工程也要对移动端或者是大屏端进行适配。 在我们的算法在解决实际问题时，会有不同的要求。例如在3D人脸特效中，需要考虑到口红的适配、帽子、耳机等场景。在某些场景下，帽子的材质可能并不重要，但如果要在电商场景中应用，如查看口红颜色、珠光或哑光效果，就需要AI技术非常逼真地模拟这些场景。因此，我们的算法在不同场景下需要进行不同的适配，使其更贴合当前业务需求。 特效引擎篇 我们经常听到“跨平台联动”、“热点追踪”和“热点覆盖”这些概念。对于移动端业务来说，我们必须确保所有功能都能在不同的平台上运行，并满足所有用户的需求。这需要我们的算法能够同时支持App、浏览器和小程序等多个平台，并且能够处理多平台的跨平台问题。为此，我们需要开发移动端SDK，甚至使用云渲染这种较为复杂的方法来解决这一问题。 3D引擎与虚拟形象以及智能创作密切相关。例如，物理引擎的模拟、动画系统、粒子效果以及TOF摄像头等技术，谷歌和苹果等公司都在从2D到3D的转换上投入了大量工作。也许下一个转变将是使用习惯的改变。 特效内容篇 除了技术层面的内容，我认为运营在娱乐场景中可能是最关键的一环。 我们生产了大量的贴纸和素材，这些有趣的元素需要一个平台来支撑它们，并进行评估以确定它们的实际作用。我们将有一个综合管理的平台，第一个关键词是平台管理；第二个关键词是数据监控，这需要多个维度的数据监控，包括热度、衰减曲线、地区热度、抽象规则等，以便在特效上线前有足够的经验进行评估，从而了解每个玩法能达到的效果。 最后是关于商业化运营。特效不仅可以提升用户体验，还可以为企业或产品带来新的增长。许多业务都有商业化特效，例如与品牌相关的贴纸、小游戏等。之前，我们与肯德基合作过一个射击游戏，因为游戏中的任何位置都可以贴上logo，所以每个明显的特效栏都变成了自然的广告位。这种方式深受广告主喜爱，因为广告形式多样。像我们这样的贴纸广告既能吸引点击又能产生实际效果。 特效工具篇 最后我想谈谈火山引擎的特效生产工具。在整个链路中，特效生产工具起着至关重要的作用。 我认为特效的生产效率对于特效能否落地业务起着决定性的作用。在这个环节里，我会跟大家分享三个关键词：提升生产效率、完善设计生态和引擎同步升级。 首先，我们要提高生产效率。在2D、3D甚至美颜等特效的生产中，如果需要一个人花费好几天时间来制作，这将无法支撑业务的运行。因此，我们拥有一个生产工具，其底层和SDK都采用同一种引擎。这个工具可以帮助我们的设计师通过无代码的方式快速生成特效，例如，一天可以生成2D特效，五天可以生成3D特效。由于这个工具是抽象的，我们可以将其提供给外部设计师使用，让他们在平台上创作素材并实现变现，同时也提升了我们的效率。 其次，我们需要完善设计生态。如果我们只关注特效的生产而忽视了设计本身，那么最终的产出将无法满足市场的需求。因此，我们需要建立一个完善的设计生态系统，让设计师能够自由地创作和交流。这样，外部设计师就可以在我们的平台上继续创作贴纸，实现变现，同时也提升了我们的效率。 最后，我们需要实现工具和引擎的联动。算法创新后，新的功能和特性会立即上传到引擎中。按照传统的工作流程，开发设计师需要花费好几天的时间来对接引擎和渲染之间的关键点，这既浪费时间又降低了工作效率。因此，我们的工具就是为了提升生产效率，让外部的用户也能使用到我们的工具，得到效率的提升。