马蜂窝视频编辑框架设计及在 iOS 端的业务实践

(马蜂窝技术公众号原创内容,ID: mfwtech)

熟悉马蜂窝的朋友一定知道,点击马蜂窝 App 首页的发布按钮,会发现发布的内容已经被简化成「图文」或者「视频」。

长期以来,游记、问答、攻略等图文形式的形态一直是马蜂窝发展的优势所在。将短视频提升至与图文并列的位置,是因为对于今天的移动互联网用户来说,内容更真实直观、信息密度更大、沉浸感更强的短视频已经成为刚需。为了使旅游用户拥有更好的内容交互体验,丰富和完整原有的内容生态体系,马蜂窝加码了对短视频领域的布局。

现在,每天都会有大量短视频在马蜂窝产生,覆盖美食、探店、景点打卡、住宿体验等多种当地玩乐场景。马蜂窝希望平台的短视频内容除了「好看」之外,更要「好用」。这个「好用」不仅仅是为有需求的用户提供好用的旅行信息,更是指通过技术让用户的短视频创作更加简单易行。

为此,我们在马蜂窝旅游 App 的视频编辑功能中提供了「自定义编辑」与「模板创作」两种编辑模式,使用户既可以通过「模板」快速创作与模板视频同款的炫酷视频,也能够进入「自定义编辑」模式发挥自己的创意,生成个性化视频。

本文将围绕马蜂窝旅游 App iOS 端中的视频编辑功能,和大家分享我们团队视频编辑框架的设计及业务实践。

Part.1 需求分析

如前言所述,我们要做的是能够支持「自定义编辑」与「模板创作」两种模式的视频编辑功能。

图1:产品示意图

首先我们梳理一下「自定义编辑」模式下,需要提供的功能:

  • 视频拼接:将多段视频按顺序拼接成一段视频

  • 播放图片:将多张图片合成一段视频

  • 视频裁剪:删除视频中某个时间段的内容

  • 视频变速:调整视频的播放速度

  • 背景音乐:添加背景音乐,可以与视频原音做混音

  • 视频倒播:视频倒序播放

  • 转场过渡:拼接的两段视频切换时增加一些过渡效果

  • 画面编辑:画面旋转,画布分区、设置背景色,增加滤镜、贴纸、文字等附加信息

有了上述这些功能,便可以满足「自定义编辑」模式的需求,能够让用户通过我们的视频编辑功能完成自己的创作。但是为了进一步降低视频编辑功能的使用门槛,让制作炫酷视频变得简单,我们还需要支持「模板创作」模式。即为用户提供「模板视频」,用户只需要选择视频或者图片,便可创作出与「模板视频」有同样编辑特效的同款视频,实现「一键编辑」。

支持「模板创作」模式后,我们视频编辑功能最终的流程图如下:

图2:完整流程图

如图所示,在媒体文件之外,多了一个模板 A 的输入,模板 A 描述了要对用户选择的媒体文件做哪些编辑。同时在编辑器的输出中多了一个模板 B,模板 B 描述了用户在完成编辑后,最终做了哪些编辑。其中模板 B 的输出,为我们解决了「模板视频」来源的问题,即「模板视频」既可以通过运营手段生产,也可以将用户通过「自定义编辑」模式创作的视频作为模板视频,使其他用户浏览该用户发布的视频时,可以快速创作同款视频。

通过上述需求分析的过程,可以总结出我们的视频编辑功能主要支持两个能力:

  1. 常规视频编辑的能力

  2. 描述如何编辑的能力

这两个能力的划分,为我们接下来进行视频编辑框架的设计提供了方向。

Part.2 框架设计

常规视频编辑的能力是一个视频编辑框架需要提供的基本能力,能够支撑业务上的「自定义编辑」模式。「描述如何编辑」的能力则是将常规视频编辑能力进行抽象建模,描述「对视频做哪些编辑」这件事,然后将这种描述模型转化为具体的视频编辑功能,便能够支撑起业务上的「模板创作」模式。所以我们的编辑框架可以划分为两个主要的模块:

  • 编辑模块

  • 描述模块

在两个模块之间,还需要一个转换模块,完成视频编辑模块与描述模块之间的双向转换。下图为我们需要的视频编辑框架示意图:

图3:视频编辑框架示意图

  • 编辑模块所需要的具体功能,可以随着业务上的需求不断迭代添加,目前我们要支持的功能如图中所列。

  • 描述模块则需要一个描述模型,将媒体素材与各种编辑功能完整的描述出来。同时也需要将模型保存成文件,从而能够被传输分发,我们称之为描述文件。

  • 另外在描述文件的基础上,「模板创作」模式中的「模板」还需要标题、封面图等运营相关的信息。所以还需要提供一个运营加工的功能,能够让运营同事将描述文件加工为模板。

  • 转换模块负责的则是将视频编辑功能抽象为描述文件、将描述文件解析为具体的编辑功能的任务,保证抽象与解析的正确性至关重要。

视频编辑模块在不同的开发平台上都有很好的实现方案,比如 iOS 原生提供的 AVFoundation,使用广泛的第三方开源库 GPUImage,以及更加通用的 ffmpeg 等。具体的实现方案可以结合业务场景与项目规划进行选择,我们目前在 iOS 端采用的方案是苹果原生的 AVFoundation。如何结合 AVFoundation 实现我们的视频编辑框架会在下文具体介绍。接下来我们就来看下具体功能模块的设计与实现。

Part.3 模块功能与实现

3.1 描述模块

3.1.1 功能划分

首先我们对「自定义编辑」模式下需要支持的具体功能进行分析,发现可以以编辑的对象为标准,将编辑功能划分为两类:段落编辑、画面编辑。

  • 段落编辑:将视频段看作编辑对象,不关心画面内容,只在视频段层面上进行编辑,包含如下功能:

图4:段落编辑

  • 画面编辑:将画面内容作为编辑对象,包含如下功能:

图5:画面编辑

3.1.2 视频编辑描述模型

有了编辑功能的划分后,要描述「对视频进行哪些编辑」,我们还需要一个视频编辑描述模型。定义如下几个概念:

  • 时间线:由时间点组成的单向递增直线,起始点为 0 点

  • 轨道:以时间线为坐标系的容器,容器内存放的是每个时间点需要的内容素材及「画面编辑」功能

  1. 轨道具有类型,一条轨道仅支持一种类型
  • 段落:轨道中的一段,即轨道所属时间线上两个时间点及两点之间的部分
  1. 段落也具有类型,与其所属轨道类型保持一致

轨道类型列表:

其中「视频」、「图片」、「音频」类型轨道,是提供画面与声音内容的轨道。其余几个类型的轨道,则是用于描述具体做哪些画面编辑功能的轨道。特效类型轨道中可以指定若干画面编辑效果,如旋转、分区等。

结合编辑功能的划分,我们可以看出段落编辑功能的编辑对象是轨道内的段落,画面编辑功能的编辑对象是轨道内存放的内容素材。

有了时间线、轨道、段落三个概念以及段落编辑、画面编辑两个编辑行为的划分后,我们在抽象层面描述视频的编辑过程如下:

图6:视频编辑描述模型示意图

如上图所示,通过该模型,我们已经能够完整的描述出「对视频进行哪些编辑」:

  • 创作一个时长 60 秒的视频,内容素材有视频,图片,音乐,分别对应轨道 1、轨道 2、轨道 3,并且有转场、滤镜效果,由轨道 4、轨道 5 指定(其他效果不再单独描述,以转场、滤镜效果为参考)。

  • 该视频由轨道 1 的 [0-20] 段、轨道 2 的 [15-35] 段、轨道 1 的 [30-50] 段以及轨道 2 的 [45-60] 段拼接而成。

  • [0-60] 视频全段有背景音乐,音乐由轨道 3 指定。

  • [15-20]、[30-35]、[45-50] 三段内有转场效果,转场效果由轨道 4 指定。

  • [15-35] 段有滤镜效果,滤镜效果由轨道 5 指定。

3.1.3 描述文件与模板

有了上述的视频编辑描述模型后,我们还需要具体的文件来存储和分发该模型,即描述文件,我们使用 JSON 文件来实现。同时还需要提供运营加工的能力,使运营同事为描述文件添加一些运营信息,生成模板。

  • 描述文件: 根据视频编辑模型生成一份 JSON 文件

举个

原文地址:https://blog.csdn.net/weixin_43846997/article/details/100152360

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


当我们远离最新的 iOS 16 更新版本时,我们听到了困扰 Apple 最新软件的错误和性能问题。
欧版/美版 特别说一下,美版选错了 可能会永久丧失4G,不过只有5%的概率会遇到选择运营商界面且部分必须连接到iTunes才可以激活
一般在接外包的时候, 通常第三方需要安装你的app进行测试(这时候你的app肯定是还没传到app store之前)。
前言为了让更多的人永远记住12月13日,各大厂都在这一天将应用变灰了。那么接下来我们看一下Flutter是如何实现的。Flutter中实现整个App变为灰色在Flutter中实现整个App变为灰色是非常简单的,只需要在最外层的控件上包裹ColorFiltered,用法如下:ColorFiltered(颜色过滤器)看名字就知道是增加颜色滤镜效果的,ColorFiltered( colorFilter:ColorFilter.mode(Colors.grey, BlendMode.
flutter升级/版本切换
(1)在C++11标准时,open函数的文件路径可以传char指针也可以传string指针,而在C++98标准,open函数的文件路径只能传char指针;(2)open函数的第二个参数是打开文件的模式,从函数定义可以看出,如果调用open函数时省略mode模式参数,则默认按照可读可写(ios_base:in | ios_base::out)的方式打开;(3)打开文件时的mode的模式是从内存的角度来定义的,比如:in表示可读,就是从文件读数据往内存读写;out表示可写,就是把内存数据写到文件中;
文章目录方法一:分别将图片和文字置灰UIImage转成灰度图UIColor转成灰度颜色方法二:给App整体添加灰色滤镜参考App页面置灰,本质是将彩色图像转换为灰度图像,本文提供两种方法实现,一种是App整体置灰,一种是单个页面置灰,可结合具体的业务场景使用。方法一:分别将图片和文字置灰一般情况下,App页面的颜色深度是24bit,也就是RGB各8bit;如果算上Alpha通道的话就是32bit,RGBA(或者ARGB)各8bit。灰度图像的颜色深度是8bit,这8bit表示的颜色不是彩色,而是256
领导让调研下黑(灰)白化实现方案,自己调研了两天,根据网上资料,做下记录只是学习过程中的记录,还是写作者牛逼
让学前端不再害怕英语单词(二),通过本文,可以对css,js和es6的单词进行了在逻辑上和联想上的记忆,让初学者更快的上手前端代码
用Python送你一颗跳动的爱心
在uni-app项目中实现人脸识别,既使用uni-app中的live-pusher开启摄像头,创建直播推流。通过快照截取和压缩图片,以base64格式发往后端。
商户APP调用微信提供的SDK调用微信支付模块,商户APP会跳转到微信中完成支付,支付完后跳回到商户APP内,最后展示支付结果。CSDN前端领域优质创作者,资深前端开发工程师,专注前端开发,在CSDN总结工作中遇到的问题或者问题解决方法以及对新技术的分享,欢迎咨询交流,共同学习。),验证通过打开选择支付方式弹窗页面,选择微信支付或者支付宝支付;4.可取消支付,放弃支付会返回会员页面,页面提示支付取消;2.判断支付方式,如果是1,则是微信支付方式。1.判断是否在微信内支付,需要在微信外支付。
Mac命令行修改ipa并重新签名打包
首先在 iOS 设备中打开开发者模式。位于:设置 - 隐私&安全 - 开发者模式(需重启)
一 现象导入MBProgressHUD显示信息时,出现如下异常现象Undefined symbols for architecture x86_64: "_OBJC_CLASS_$_MBProgressHUD", referenced from: objc-class-ref in ViewController.old: symbol(s) not found for architecture x86_64clang: error: linker command failed wit
Profiles >> 加号添加 >> Distribution >> "App Store" >> 选择 2.1 创建的App ID >> 选择绑定 2.3 的发布证书(.cer)>> 输入描述文件名称 >> Generate 生成描述文件 >> Download。Certificates >> 加号添加 >> "App Store and Ad Hoc" >> “Choose File...” >> 选择上一步生成的证书请求文件 >> Continue >> Download。
今天有需求,要实现的功能大致如下:在安卓和ios端实现分享功能可以分享链接,图片,文字,视频,文件,等欢迎大佬多多来给萌新指正,欢迎大家来共同探讨。如果各位看官觉得文章有点点帮助,跪求各位给点个“一键三连”,谢啦~声明:本博文章若非特殊注明皆为原创原文链接。