音视频开发（6）FFmpeg滤镜

2016-12-30

FFmpeg除了具有强大的封装/解封装、编/解码功能之外，还包含了一个非常强大的组件——滤镜avfilter组件，经常用于进行多媒体的处理与编辑，能够实现的音频、视频、字幕渲染效果数不胜数。

一、FFmpeg滤镜Filter

Filter参数排列方式

[输入流或标记名]滤镜参数[临时标记名]; [输入流或标记名]滤镜参数[临时标记名]…

# [1:v]代表输入第1个文件的视频信息，即logo.png，[0,v]代表输入第0个文件的视频信息，即input.mp4
# [logo]为临时标记名，[0:v][logo]代表logo在视频上方，即为水印。
# overlay的x和y值，可以调整。当都是0时在左上角。可以结合与视频和水印相关的四个值来设置：mainW表示主视频宽度，mainH表示主视频高度，overlayW表示水印宽度，overlayH表示水印高度。
# 输入两个文件，将logo进行缩放，然后放在视频的左上角
$ ffmpeg -i input.mp4 -i logo.png -filter_complex "[1:v] scale=176:144[logo]; [0:v][logo]overlay=x=0:y=0" output.mp4
# 相同水印放右上角，且只截取10s
$ ffmpeg -i input.mp4 -i logo.png -t 10 -filter_complex "[1:v] scale=176:144[logo]; [0:v][logo]overlay=x=main_w-overlay_w:y=0" output_right.mp4

二、FFmpeg视频流滤镜

文字水印

文字水印可用参数如下：

# 左上角20.20位置添加hello world文字，文字颜色绿色、背景颜色黄色
$ ffmpeg -i input.mp4 -t 10 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':x=20:y=20:fontcolor=green:box=1:boxcolor=yellow" output_text.mp4
# 水印文字换成当前时间内置函数
ffmpeg -i input.mp4 -t 10 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='%{localtime\:%Y\-%m\-%d %H-%M-%S}':x=20:y=20:fontcolor=green:box=1:boxcolor=yellow" output_text.mp4
# 每3s显示1s的水印
$ ffmpeg -i input.mp4 -t 10 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':x=20:y=20:fontcolor=green:box=1:boxcolor=yellow:enable=lt(mod(t\,3)\,1)" output_text.mp4
# 如需要中文，需要指定中文字库，windows路径C:\Windows\Fonts\，Mac和Linux路径/System/Library/Fonts/
$  ffmpeg -i input.mp4 -t 10 -vf "drawtext=fontsize=100:fontfile=/System/Library/Fonts/PingFang.ttc:text='测试':x=20:y=20:fontcolor=green:box=1:boxcolor=yellow" output_text.mp4

图片水印

为视频添加图片水印可以使用movie滤镜。

movie滤镜的参数：

# 设定水印位置x坐标30、y坐标10
$ ffmpeg -i input.mp4 -t 10 -vf "movie=logo.png[wm];[in][wm]overlay=30:10[out]" output.mp4
# 使用colorkey进行混色形成半透明水印
$ ffmpeg -i input.mp4 -t 10 -vf "movie=logo.png,colorkey=white:1.0:1.0[wm];[in][wm]overlay=30:10[out]" output2.mp4
# 设定水印大小
$ ffmpeg -i input.mp4 -vf "movie=logo.png,scale=100:45[logo],[in][logo]overlay=1420:855[out]" output3.mp4

画中画

在FFmpeg中，可以通过overlay将多个视频流、多个多媒体采集设备、多个视频文件合并到一个界面中，生成画中画的效果。尤其是用在图层处理与合并场景中，多数都会与overlay滤镜配合使用。

overlay滤镜的参数：

# 将sub.mp4视频文件缩放成宽480、高320的视频，然后显示在视频input.mp4的x坐标为0、y坐标为0的位置。
$ ffmpeg -re -i input.mp4 -t 10 -vf "movie=sub.mp4,scale=480x320[test];[in][test] overlay [out]" -vcodec libx264 output.flv
# 画中画中，sub的位置采用弹幕方式从左到右滚动
$ ffmpeg -re -i input.mp4 -t 10 -vf "movie=sub.mp4,scale=480x320[test];[in][test] overlay =x='if(gte(t,2),-w+(t-2)*200,NAN)':y=0 [out]" -vcodec libx264 output_damma.flv

多宫格展示：

1
2
3

# 通过nullsrc创建一个640x480的overlay画布，base、upperleft、upperright、lowerleft、lowerright为创建的临时标记名，对应整体、左上、右上、左下、右下的视频流。然后将4个视频分别插入到base、tmp1、tmp2、tmp3之后。
# 经常用于直播流的监控，需要将input换成直播流地址即可。
$ ffmpeg -re -i input2.mp4 -re -i input2.mp4 -re -i input3.mp4 -re -i input4.mp4 -t 10 -filter_complex  "nullsrc=size=640x480  [base];  [0:v]  setpts=PTS-STARTPTS,scale=320x240  [upperleft];  [1:v]  setpts=PTS-STARTPTS,  scale=320x240  [upperright];[2:v]  setpts=PTS-STARTPTS,  scale=320x240  [lowerleft];  [3:v]  setpts=PTS-STARTPTS,  scale=320x240  [lowerright];  [base][upperleft]  overlay=shortest=1[tmp1];  [tmp1][upperright]  overlay=shortest=1:x=320  [tmp2];  [tmp2][lowerleft]overlay=shortest=1:y=240 [tmp3]; [tmp3][lowerright] overlay=shortest=1:x=320:y=240" -c:v libx264 output_4.flv

视频抠图合并

可以把视频的图像中指定的颜色（或者在一定相似度范围内）的像素替换成透明色，把符合条件的像素抠掉，再替换成其他背景的图片或视频，来实现虚拟背景直播等场景。

可使用chromakey滤镜来处理这种情况，主要处理YUV数据，所以一般来说做绿幕处理更有优势。

也可使用colorkey参数，主要处理处理RGB的纯色数据。

1
2

# input_0.mp4为虚拟背景，input_1.mp4为背景色相对固定的视频（比如背景是绿幕）。抠出input_1.mp4中的人物等，放到虚拟背景上合成新的视频
$ ffmpeg -i input_0.mp4 -i input_1.mp4 -filter_complex "[1:v]chromakey=Green:0.1:0.2[ckout]; [0:v][ckout]overlay[out]" -map "[out]" output.mp4

3D视频处理

VR推出时，配备的头戴设备也随之推出，出现了左右眼的问题。FFmpeg通过stereo3d滤镜方式实现3D效果。

#使用黄蓝眼镜观看
$ ffplay -vf "stereo3d=sbsl:aybd" input.mp4
#使用红蓝眼镜观看
$ ffplay -vf "stereo3d=sbsl:aybg" input.mp4

视频截图

对视频内容进行分析时，需要对视频定时截图。

1 2	# 定位到视频的第7秒位置，获得对应的视频帧，然后将图像解码出来编码成RGB24的图像并封装成PNG图像 ffmpeg -i input.mp4 -ss 00:00:7.435 -vframes 1 out.png

FFmpeg的fps滤镜是可以在间隔时间获得图片。

# 每隔一秒生成一张png图片
$ ffmpeg -i input.mp4 -vf fps=1 img/png_%d.png
# 每隔1分钟生成一张jpeg图片
$ ffmpeg -i input.flv -vf fps=1/60 img/jpg_%03d.jpg
# 每隔10分钟生成一张bmp图片
$ ffmpeg -i input.flv -vf fps=1/600 img/bmp_%04d.bmp

另外，还可以判断图像类型是否为I帧，如果是I帧则会生成一张PNG图像

1	$ ffmpeg -i input.mp4 -vf "select='eq(pict_type, PICT_TYPE_I)'" -vsync vfr img/idr_%04d.png

视频测试元数据生成

可以通过FFmpeg虚拟设备虚拟出来一个输入视频流，可以通过FFmpeg模拟多种视频源：allrgb、allyuv、color、haldclutsrc、nullsrc、rgbtestsrc、smptebars、smptehdbars、testsrc、testsrc2、yuvtestsrc。

# 生成长度为5.3秒、图像大小为QCIF分辨率、帧率为25fps的视频图像数据，并编码成为H.264
$ ffmpeg -re -f lavfi -i testsrc=duration=5.3:size=qcif:rate=25 -vcodec libx264 -r:v 25 output.mp4

# 使用color作为视频源，图像内容为纯红色，编码为H.264
$ ffmpeg -re -f lavfi -i color=c=red@0.2:s=qcif:r=25 -vcodec libx264 -r:v 25 output.mp4

# 使用nullsrc作为视频源，宽高为256×256，随机雪花样
$ ffmpeg -re -f lavfi -i "nullsrc=s=256x256, geq=random(1)*255:128:128" -vcodec libx264 -r:v 25 output.mp4

视频倍速处理

在音视频处理中，音视频的倍速处理，如2倍速播放、4倍速播放，常见的处理方式包含跳帧播放与不跳帧播放，两种处理方式FFmpeg均可支持，跳帧处理方式的用户体验稍差一些，我们尽量使用不跳帧的倍速播放。

视频倍速处理采用setpts滤镜。

# 半速处理
$ ffmpeg -re -i input.mp4 -filter_complex "setpts=PTS*2" output.mp4
# 2倍速处理
$ ffmpeg -i input.mp4 -filter_complex "setpts=PTS/2" output.mp4

三、FFmpeg音频流滤镜

FFmpeg可以对音频进行操作，例如拆分声道、合并多声道为单声道、调整声道布局、调整音频采样率等。而进行音频的拆分与合并，在FFmpeg中可以通过amix、amerge、pan、channelsplit、volume、volumedetect等滤镜进行常用的音频操作。

声道布局

先理解下声道布局支持情况。

# front前置、back后置、side中置
$ ffmpeg -layouts
Individual channels:
NAME           DESCRIPTION
FL             front left
FR             front right
FC             front center
LFE            low frequency（低音炮，就是那个.1）
BL             back left
BR             back right
FLC            front left-of-center
FRC            front right-of-center
BC             back center
SL             side left
SR             side right
TC             top center
TFL            top front left
TFC            top front center
TFR            top front right
TBL            top back left
TBC            top back center
TBR            top back right
DL             downmix left
DR             downmix right
WL             wide left
WR             wide right
SDL            surround direct left
SDR            surround direct right
LFE2           low frequency 2

Standard channel layouts:
NAME           DECOMPOSITION
mono           FC
stereo         FL+FR
2.1            FL+FR+LFE
3.0            FL+FR+FC
3.0(back)      FL+FR+BC
4.0            FL+FR+FC+BC
quad           FL+FR+BL+BR
quad(side)     FL+FR+SL+SR
3.1            FL+FR+FC+LFE
5.0            FL+FR+FC+BL+BR
5.0(side)      FL+FR+FC+SL+SR
4.1            FL+FR+FC+LFE+BC
5.1            FL+FR+FC+LFE+BL+BR
5.1(side)      FL+FR+FC+LFE+SL+SR
6.0            FL+FR+FC+BC+SL+SR
6.0(front)     FL+FR+FLC+FRC+SL+SR
hexagonal      FL+FR+FC+BL+BR+BC
6.1            FL+FR+FC+LFE+BC+SL+SR
6.1(back)      FL+FR+FC+LFE+BL+BR+BC
6.1(front)     FL+FR+LFE+FLC+FRC+SL+SR
7.0            FL+FR+FC+BL+BR+SL+SR
7.0(front)     FL+FR+FC+FLC+FRC+SL+SR
7.1            FL+FR+FC+LFE+BL+BR+SL+SR
7.1(wide)      FL+FR+FC+LFE+BL+BR+FLC+FRC
7.1(wide-side) FL+FR+FC+LFE+FLC+FRC+SL+SR
octagonal      FL+FR+FC+BL+BR+BC+SL+SR
hexadecagonal  FL+FR+FC+BL+BR+BC+SL+SR+TFL+TFC+TFR+TBL+TBC+TBR+WL+WR
downmix        DL+DR

双声道合并单声道

# 看到input.aac是stereo布局，即有FL和FR两个声道。在同一个流Stream#0中。
# 通过-ac参数转成output1.aac，为mono单声道。
$ ffmpeg -i input.aac -ac 1 output1.aac
Input #0, aac, from 'input.aac':
  Duration: 00:01:24.34, bitrate: 133 kb/s
    Stream #0:0: Audio: aac (LC), 48000 Hz, stereo, fltp, 133 kb/s
Stream mapping:
  Stream #0:0 -> #0:0 (aac (native) -> aac (native))
Output #0, adts, to 'output1.aac':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #0:0: Audio: aac (LC), 48000 Hz, mono, fltp, 69 kb/s

双声道提取

# 将音频为stereo的布局提取为两个mono流，输出左声道一个流，输出右声道一个流。
# 从输出可以清楚看到有2个output，Stream都是0。
$ ffmpeg -i input.aac -map_channel 0.0.0 left.aac -map_channel 0.0.1 right.aac
Output #0, adts, to 'left.aac':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #0:0: Audio: aac (LC), 48000 Hz, mono, fltp, 69 kb/s
Output #1, adts, to 'right.aac':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #1:0: Audio: aac (LC), 48000 Hz, mono, fltp, 69 kb/s
# 如实现上述效果，也可使用pan滤镜。
$ ffmpeg -i input.aac -filter_complex "[0:0]pan=1c|c0=c0[left]; [0:0]pan=1c|c0=c1[right]" -map "[left]" left.aac -map "[right]" right.aac

双声道转双音频流

FFmpeg不但可以将双声道音频提取出来生成两个音频文件，还可以将双声道音频提取出来转为一个音频文件两个音频流，每个音频流为一个声道。

# 从输出可以清楚看到只有1个output，Stream有2个。大多数播放器在默认情况下会播放第一个音频Stream。
$ ffmpeg -i input.aac -filter_complex channelsplit=channel_layout=stereo output.mka
Output #0, matroska, to 'output.mka':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #0:0: Audio: vorbis (libvorbis) (oV[0][0] / 0x566F), 48000 Hz, 1 channels (FL), fltp
    Stream #0:1: Audio: vorbis (libvorbis) (oV[0][0] / 0x566F), 48000 Hz, 1 channels (FR), fltp

单声道转双声道

# 其实是伪双声道，可使用下面两个音频源合并成真正的双声道
$ ffmpeg -i output1.aac -ac 2 output.m4a
Output #0, ipod, to 'output.m4a':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #0:0: Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 128 kb/s
# 如实现上述效果，也可使用amerge滤镜。
$ ffmpeg -i output1.aac -filter_complex "[0:a][0:a]amerge=inputs=2[aout]" -map "[aout]" output.m4a

两个音频源合并双声道

1	$ ffmpeg -i left.aac -i right.aac -filter_complex "[0:a][1:a]amerge=inputs=2[aout]" -map "[aout]" -acodec aac output_stereo.mka

多个音频合并为多声道

$ ffmpeg -i front_left.wav -i front_right.wav -i front_center.wav -i lfe.wav -i back_left.wav -i back_right.wav -filter_complex "[0:a][1:a][2:a][3:a][4:a][5:a]amerge=inputs=6[aout]" -map "[aout]" output.wav

音频音量探测

# 音频的平均大小mean_volume，即-18.3dB
$ ffmpeg -i input.aac -filter_complex volumedetect -c:v copy -f null db.txt
[Parsed_volumedetect_0 @ 000001c1189dc080] n_samples: 8255488
[Parsed_volumedetect_0 @ 000001c1189dc080] mean_volume: -18.3 dB
[Parsed_volumedetect_0 @ 000001c1189dc080] max_volume: -0.7 dB
[Parsed_volumedetect_0 @ 000001c1189dc080] histogram_0db: 42
[Parsed_volumedetect_0 @ 000001c1189dc080] histogram_1db: 983
[Parsed_volumedetect_0 @ 000001c1189dc080] histogram_2db: 2898
[Parsed_volumedetect_0 @ 000001c1189dc080] histogram_3db: 7367

音频波形

1 2	# 将会生成一个宽高为640×120大小的output.png图片，图片内容为音频波形 $ ffmpeg -i input.aac -filter_complex "showwavespic=s=640x120" -frames:v 1 output.png

1
2

# 可以使用showwavepic与split_channel滤镜配合绘制出不同的单个声道的波形图
$ ffmpeg -i input.aac -filter_complex "showwavespic=s=640x240:split_channels=1" -frames:v 1 output.png

音频测试元数据生成

可以通过lavfi虚拟音频源的abuffer、aevalsrc、anullsrc、flite、anoisesrc、sine滤镜生成音频流。

# 使用abuffer生成
$ ffmpeg -re -f lavfi -i abuffer=sample_rate=44100:sample_fmt=s16p:channel_
layout=stereo -acodec aac -y output.aac
# 使用aevalsrc生成的双通道音频
$ ffmpeg -re -f lavfi "aevalsrc=sin(420＊2＊PI＊t)|cos(430＊2＊PI＊t):c=FC|BC" -acodec aac output.aac
# 生成20s的空白音频
ffmpeg -f lavfi -i anullsrc -t 20 silence.mp3

音频倍速处理

音频倍速处理使用atempo滤镜，只有一个参数：tempo，将这个参数的值设置为浮点型，取值范围从0.5到2。0.5则是原来速度的一半，调整为2则是原来速度的2倍速。

1 2	# 2倍速处理 $ ffmpeg -i input.aac -filter_complex "atempo=tempo=2" -acodec aac output_x2.aac

四、FFmpeg字幕滤镜

为视频添加字幕的分为2种：

将字幕编码进入视频流，和视频增加水印相似
在封装容器中加入字幕流

ASS字幕流写入视频流

使用FFmpeg可以将字幕流写入视频流，通过ASS滤镜即可，首先需要将视频流进行解码，然后将ASS字幕写入视频流，编码压缩之后再进行容器封装即可。

如下为一个ASS字幕。

[Script Info]

[V4+ Styles]
Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding
Style: Default,方正黑体_GBK,20,&H00FFFFFF,&HF0000000,&H00000000,&H32000000,0,0,0,0,100,100,0,0,1,2,1,2,5,5,2,134

[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:01.51,0:00:03.11,Default,,0,0,0,,{\an4\fad(500,500)\bord0\shad0\fs18\pos(35,235)\fn方正准圆_GBK\c&H000000&}翻译     {\c&HFFFFFF&}iherr
Dialogue: 0,0:00:03.36,0:00:05.34,*Default,NTP,0,0,0,,我听说过你
Dialogue: 0,0:00:06.11,0:00:08.64,*Default,NTP,0,0,0,,你是很好的

# 将字幕写入视频流，可以看到输出Video和Audio两个流，没有字幕流（因为写入了视频流）。
$ ffmpeg -i input.mp4 -vf ass=input.ass -f mp4 -t 10 output_ass.mp4
Output #0, mp4, to 'output_ass.mp4':
  Metadata:
    Stream #0:0(chi): Video: h264 (libx264) (avc1 / 0x31637661), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], q=-1--1, 25 fps, 12800 tbn, 25 tbc (default)
    Stream #0:1(chi): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 128 kb/s (default)

ASS字幕流写入封装容器

# output.mkv文件将会包含三个流，分别为视频流、音频流以及字幕流。
$ ffmpeg -i input.mp4 -i input.ass -acodec copy -vcodec copy -scodec copy -t 10 output.mkv
Output #0, matroska, to 'output.mkv':
  Metadata:
    Stream #0:0(chi): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1920x1080 [SAR 1:1 DAR 16:9], q=2-31, 8935 kb/s, 25 fps, 25 tbr, 1k tbn, 12800 tbc (default)
    Stream #0:1(chi): Audio: aac (LC) ([255][0][0][0] / 0x00FF), 48000 Hz, stereo, fltp, 193 kb/s (default)
    Stream #0:2: Subtitle: ass

单独封装成字幕流的好处是，可以随时修改替换。

1
2

# 将原有input.mp4中的视频流和音频流，以及input.ass中的字幕流进行合成
$ ffmpeg -i input.mp4 -i input.ass -map 0:0 -map 0:1 -map 1:0 -acodec copy -vcodec copy -scodec copy output.mkv

https://www.jianshu.com/p/32e1ca5432e1 FFmpeg Basics》中文版-09-overlay-画中画