萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 说到短视频特效，你或许第一时间会想到“抖音特效”。没错，抖音的特效似乎总是火到出圈，像用一段视频让你“重返三岁”： △ 视频来源@赖美云 又或是1个动作就打破次元壁，PDD也变得眉清目秀： 事实上，与AI相关的特效技术，国内外也有不少APP在做，但运行到手机上后，最出圈的往往还是抖音。 同类特效，背后所用的AI技术其实是接近的，但抖音做出的特效，渲染真实、运行流畅、爆款也更多。 抖音特效常青的秘诀，究竟是什么？只要5M，效果堪比虚幻引擎。一款特效的创意无法预测，但渲染效果和运算时间却能被打磨到极致。其中，渲染效果依靠CV（计算机视觉）+CG（计算机图形学）两类算法的提升，而运算时间则依靠模型的优化。对于计算机来说，CV算法能让它精准地“看懂”一张照片中的内容。小到特效的贴合度、实时跟踪的精度，大到整个图像的分辨率提升、风格改变，都属于CV算法的范畴。像合成大菠萝这种贴脸特效，或是高清修复老照片，又或是“重返三岁”、“漫画脸”这类整体画风的迁移，都属于CV算法的“职责”所在。 抖音所用的CV算法，基本靠自研。仅CVPR 2021一场顶会，字节跳动合作入选的论文就有14篇，涵盖NAS、图像修复、行为识别等方向，同时在移动目标检测、细粒度图像识别、视频分类等细分领域竞赛中夺冠。再说CG算法，它能让计算机做出以假乱真的特效效果，结合CV算法贴合到图片或视频上。像常见的PBR算法，只是渲染“基操”；电影中常用的粒子系统，抖音同样也会用到手机特效上，此外还有透明材质、bloom效果……都更接近真实场景，而不仅仅是2D贴纸。然而，无论CV算法还是CG算法，往往都是模型越大，做出的渲染效果才会越好。影视业界甚至流传这样一个说法：“一个1秒钟的顶级特效，用专业渲染算法去实现的话，可能需要连续渲染上50天。”这样的特效模型，绝对无法符合用户的实时拍摄需求，更别提流畅度。但据火山引擎技术专家杨辉表示，抖音5MB的渲染特效，就能达到媲美虚幻引擎实现的效果。没错，为了确保特效运行流畅，抖音的特效模型严格限制在5MB以内，便于用户实时使用。这5MB，包含模型、贴图、动画、特效和逻辑触发机制……在内的所有文件。 在追求极致的运算效率背后，抖音选择自主研发了轻量级的渲染引擎和云渲染技术。该自研引擎专注于短视频拍摄所需的特效算法，剔除了部分游戏专属、短视频不需要的特效，确保了渲染效果的高效性。同时，为了优化特效的计算过程，抖音还开发了云渲染技术，将原本需要手机硬件计算的特效转移到服务器端进行计算，再实时传输给用户。 这种改变使得原本需要在GPU级别计算的特效也能在手机上实现实时渲染，显著提升了视觉效果。例如，粒子系统的特效，只有使用GPU才能达到最佳效果（如烟花特效），而CPU计算的粒子系统则显得较为单薄（如控雨特效）。 △ 2021年的烟花特效vs2018年的控雨特效 除了技术创新，抖音的特效产出流程和覆盖场景全面的工业化体系也是其成功的关键因素。火山引擎的技术井喷为特效带来了批量化生产和广泛适用的场景，使特效制作变得更加简单和高效。据《抖音特效数据报告》显示，2021年上半年，抖音平台上每天上线超过100个特效爆款，用户平均每5个投稿中就有1个使用特效，这足以证明抖音特效的流行程度。 此外，抖音特效技术的应用场景已经超越了APP本身，扩展到了汽车行业的AR看车、美妆行业的AR试妆以及传统媒体行业的数字人等各个领域。这些应用不仅提高了特效的使用频率，也使其成为创意数字内容的一部分。 随着抖音特效技术的不断成熟和应用范围的扩大，它已经成为字节跳动增长策略中不可或缺的重要版图。现在，字节跳动将这些技术以火山引擎的方式公开分享，进一步推动了行业的进步和发展。 确实，正如字节跳动内部曾使用的火山引擎一样，其技术能力的爆发性增长，催生了火山引擎。作为字节跳动内部曾经使用的技术平台，火山引擎不仅“存储”着抖音所有特效背后的算法技术能力，还涵盖了从制作、质量审核到落地的所有工程技术。 在制作方面，为了加快生产速度和降低技术门槛，字节跳动将抖音特效背后的算法技术转化为各种模块化组件。例如，抖音将常用的CV（计算机视觉）和CG（计算机图形学）算法做成组件后，设计师只需拖动读条或按下按键，就能在特效中使用这些功能。同时，包括从训练到推理在内的算法生产过程，抖音也采用自研的推理框架和训练平台，确保最适合APP的运行速度。 在质量审核上，特效设计会进行效果评级，只有资格足够才能上线；此外，字节跳动还成立了专门的创新小组，保证算法的前沿性和创新性，设计出更多满足设计师需求的组件（如顶会论文就有不少出自这里）。 在落地上，抖音还会考虑用户体验度和不同场景下客户的定制化需求。例如，抖音采取了如不同手机性能的分级策略、运行速度优化等技术措施，将系统崩溃率降低至10万分之一。同时，采用资源下发等技术，确保用户能在不更新软件的情况下使用新特效；面对不同场景时，抖音特效也能适应不同分辨率、接口类型和机型。这一切，都与前沿的算法技术共同构成了抖音特效成功的秘诀。 “字节技术没有秘密”，7月28日，火山引擎和抖音联合宣布，将上万抖音同款特效开放给客户。这意味着字节跳动正在将包括算法、道具资源在内的抖音特效的所有优势，全部对外提供技术服务，让更多人享受这一集大成的结果。目前，像懂球帝、心心APP等一众企业产品已经在使用火山引擎作为自己的业务增长技术。未来，火山引擎也计划进一步引入最新的技术如端云协同和多人互动，来增强用户和客户的特效体验。可以想见，更精致的特效、互动性更强的技术，都将成为抖音未来的发展方向。同时，特效技术的发展也会进一步给各行业带来更多惊喜。以影视和游戏行业为例，这两项技术能极大地减轻视频后期制作、降低游戏美术成本。例如在某个角色身上加个马赛克、或是做个智能贴图，都不需要再一帧帧去手动调整，算法自动就能完成这些步骤。 这样公开自己所有的增长技术，字节跳动害怕同行的竞争吗？杨辉表示，不害怕：随着时间推移，任何一项新技术的准入门槛都会越来越低。我们能做的，不是去打价格战，而是去拓展、更新技术，保证自身的竞争力。 这个角度来说，字节跳动的增长技术，确实没有秘密。 字节跳动作为一家领先的科技公司，其成功增长的背后离不开一系列创新技术和战略。这些技术和战略不仅推动了公司的快速发展，也为业界提供了宝贵的经验。以下是对字节跳动增长技术的分析和建议：
- 内容推荐算法的优化：字节跳动通过不断优化其内容推荐算法，提高了用户粘性和平台活跃度。这种算法能够根据用户的浏览历史、喜好等数据，为用户推荐更符合其兴趣的内容，从而提高用户的满意度和留存率。
- 短视频和直播平台的崛起：字节跳动在短视频和直播领域取得了显著的成就。通过推出抖音、今日头条等平台，吸引了大量用户，并实现了快速增长。此外，字节跳动还通过举办各类活动和赛事，进一步推广了其短视频和直播业务。
- 人工智能技术的应用：字节跳动在人工智能领域进行了大量投入，利用AI技术优化产品体验、提高运营效率。例如，通过智能推荐系统，为用户提供更精准的内容推荐；通过智能客服，提高用户满意度和服务质量。
- 国际化战略的实施：字节跳动积极拓展海外市场，通过与当地合作伙伴的合作，进入不同国家和地区的市场。这种国际化战略不仅为公司带来了新的增长机会，也提升了品牌知名度和影响力。
- 创新商业模式的探索：字节跳动不断探索新的商业模式，如游戏、电商等。这些新业务的发展为公司带来了更多的收入来源，同时也为公司注入了新的活力。 总之，字节跳动的成功增长离不开其对技术创新和战略布局的重视。在未来的发展中，字节跳动应继续关注用户需求的变化和技术发展趋势，不断创新和优化，以实现更加可持续和健康的增长。