音视频开发（2）FFmpeg

一、FFmpeg简介

FFmpeg是什么

学习音视频开发，FFmpeg是一座绕不开的大山。一句话描述FFmpeg是啥？

FFmpeg是一个开源软件，可以运行音频和视频多种格式的录影、转换、流功能。用官网的话说，A complete, cross-platform solution to record, convert and stream audio and video.

『FFmpeg官网传送门』，目前支持Linux,Mac OS,Windows三个主流的平台，可以直接下载使用。

FFmpeg基本组成

FFmpeg框架有以下几部分组成：

  • AVformat：封装模块，对应libavformat库，实现了绝大多数媒体封装格式的封装和解封装。如MP4、FLV、TS等文件封装格式，以及RTMP、RTSP、MMS、HLS等网络协议封装格式。
  • AVCodec：编解码模块，对应libavcodec库，实现了大多数常用的编解码格式，如MPEG4、AAC、MJPEG等自带编码格式外，还支持H.264（AVC）的x264编码器、H.265（HEVC）的x265编码器，MP3的libmp3lame编码器等第三方的编解码器。
  • AVFilter，滤镜模块，对应libavfilter库，提供了一个通用的音视频字幕等滤镜处理框架。
  • AVDevice、AVUtil、swscale、swresample等其他模块

从提供的工具来看，有以下3个：

SDL（Simple DirectMedia Layer）

SDL是一套开放源代码的跨平台多媒体开发库，使用C语言写成。可封装了复杂的视音频底层操作，简化了视音频处理的难度。

二、FFmpeg安装

当然也可以自己编译到Android或者iOS平台。

Mac安装

有之前有安装过，版本或模块有问题，可先brew uninstall卸载。然后使用brew安装即可。

1
$ brew install ffmpeg --with-libvpx --with-libvorbis --with-ffplay

Linux 安装

详细资料可参考官方文档，『文档传送门』

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 安装依赖包
$ yum install -y autoconf automake cmake freetype-devel gcc gcc-c++ git libtool make mercurial nasm pkgconfig zlib-devel

$ mkdir ~/ffmpeg_sources
$ cd ~/ffmpeg_sources
$ git clone https://github.com/FFmpeg/FFmpeg.git
$ cd FFmpeg
$ export PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig"

$ ./configure --prefix="$HOME/ffmpeg_build" --extra-cflags="-I$HOME/ffmpeg_build/include" --extra-ldflags="-L$HOME/ffmpeg_build/lib" --bindir="$HOME/bin" --pkg-config-flags="--static" --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libfreetype --enable-libmp3lame --enable-libopus --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265

$ make
$ make install

$ make distclean
$ hash -r

Windows 安装

Windows平台的编译较为繁琐，需要MinGW-w64+MSYS环境，建议初学者直接官网下载编译好的对应操作系统版本的ffmpeg包即可，然后在path系统变量中进行安装路径配置。

功能定制

如需要其他模块，则需要通过三方外部库的方式支持，需要一并打包编译。如默认支持的格式不需要，可以裁剪来缩小FFmpeg的体积。

三、FFmpeg使用基础

常用参数

1、主要参数

参数 说明
-i 设定输入流
-f 设定输出格式
-ss 指定开始时间
-t 指定时长
-y 覆盖已有输出文件，对应的是-n不覆盖
-re 按照帧率发送，主要用于模拟捕获设备

2、视频参数

参数 说明
-vcodec 设定视频编解码器，值copy代表与输入流相同，也可使用-c:v
-b 设定视频流量，VBR，默认为200Kbit/s，也可使用-b:v
-r 设定帧速率，默认为25
-s 设定画面的宽与高（1920x1080）
-aspect 设定画面的比例
-vn 不处理视频

3、音频参数

参数 说明
-acodec 设定声音编解码器，默认与输入流相同
-ar 设定采样率
-ac 设定声音的声道数（Channel），缺省为1
-an 不处理音频
-ab 设置音频码率，也可使用-b:a 
1
$ ffmpeg -i .\input10.mp4 -b:v 1000k -s 1280x720 output.mp4 #基础

FFmpeg工作流程

  • 输入源
  • 解封装（Demuxing），通过AVFormat模块的接口Demuxer进行解封装
  • 解码（Decoding），通过AVCodec模块的接口Decoder解码成YVU/PCM数据
  • 编码（Encoding），通过AVCodec模块的接口Encoder进行编码
  • 封装（Muxing），通过AVFormat模块的接口Muxer进行封装
  • 输出流

封装转换可使用AVFormat模块libavformat库的AVFormatContext公用参数。

编解码采用AVCodec模块libavcodec库的AVCodecContext公用参数。

AVCodecContext公用参数有：

参数 说明
b 设定音视频总体码率，默认为200Kbit/s，可用b:v设置视频码率，b:a设置音频码率
g 设置视频GOP（关键帧间隔），默认时12帧一个GOP
ab 设定音频码率
ar 设定音频采样率，默认为0
ac 设定音频通道数，默认为0
bf 设定连续编码为B帧的个数，默认为0
threads 设置编解码工作的线程数，避免打满cpu

模块支持常用命令

FFmpeg命令较多，可使用ffmpeg -h来获取帮助。

FFmpeg本身支持部分编码格式、文件封装和流媒体传输协议，对于下载好的ffmpeg，可以使用ffmpeg -version或ffmpeg -buildconf命令查看编译时的参数和版本。

1
2
3
4
5
6
7
8
9
10
$ ffmpeg -version
ffmpeg version
configuration: --enable-gpl --enable-version3 --enable-sdl2 
...
--enable-libwebp --enable-libx264 --enable-libx265 
...
libavutil      56. 31.100 / 56. 31.100
libavcodec     58. 54.100 / 58. 54.100
libavformat    58. 29.100 / 58. 29.100
...

可使用以下命令查看ffmpeg支持的编码器、解码器、封装格式、解封装格式、通信协议。

命令 说明 示例
ffmpeg -encoders 编码器 YUV4、PCM_*
ffmpeg -decoders 解码器 H264、VP9
ffmpeg -muxers 封装格式 mp4、flv
ffmpeg -demuxers 解封装格式 mpeg、mpegts、flv、aac
ffmpeg -protocols 通信协议 http、rtmp

可以使用ffmpeg -formats来查看支持的格式。等于ffmpeg -muxers和ffmpeg -demuxers。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ ffmpeg -formats
// 仅列出常用格式的封装支持情况
File formats:
 D. = Demuxing supported
 .E = Muxing supported
 --
 D  aac             raw ADTS AAC (Advanced Audio Coding)
 DE avi             AVI (Audio Video Interleaved)
 DE h264            raw H.264 video
 DE hls             Apple HTTP Live Streaming
 DE mp3             MP3 (MPEG audio layer 3)
  E mp4             MP4 (MPEG-4 Part 14)
 DE mpeg            MPEG-1 Systems / MPEG program stream
 ...

如需要查看某一种demuxer或muxer类型，可使用如下命令：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ ffmpeg -h muxer=flv
Muxer flv [FLV (Flash Video)]:
    Common extensions: flv.
    Mime type: video/x-flv.
    Default video codec: flv1.
    Default audio codec: mp3.
flv muxer AVOptions:
  -flvflags          <flags>      E........ FLV muxer flags (default 0)
  ...

$ ffmpeg -h demuxer=flv
Demuxer flv [FLV (Flash Video)]:
    Common extensions: flv.
flvdec AVOptions:
  -flv_metadata      <boolean>    .D.V..... Allocate streams according to the onMetaData array (default false)
  -flv_full_metadata <boolean>    .D.V..... Dump full metadata of the onMetadata (default false)
  ...

可以使用ffmpeg -codecs来查看支持的编解码器。等于ffmpeg -encoders和 ffmpeg -decoders。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
$ ffmpeg -formats
# 仅列出常用编解码的支持情况
Codecs:
 D..... = Decoding supported
 .E.... = Encoding supported
 ..V... = Video codec
 ..A... = Audio codec
 ..S... = Subtitle codec
 ...I.. = Intra frame-only codec
 ....L. = Lossy compression
 .....S = Lossless compression
 -------
 DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_qsv h264_cuvid ) (encoders: libx264 libx264rgb h264_amf h264_nvenc h264_qsv nvenc nvenc_h264 )
 DEV.L. mpeg4                MPEG-4 part 2 (decoders: mpeg4 mpeg4_cuvid ) (encoders: mpeg4 libxvid )
 DEV.L. vp9                  Google VP9 (decoders: vp9 libvpx-vp9 vp9_cuvid ) (encoders: libvpx-vp9 )
 DEVI.S yuv4                 Uncompressed packed 4:2:0
 DEA.L. aac                  AAC (Advanced Audio Coding) (decoders: aac aac_fixed )
 DEA.L. mp3                  MP3 (MPEG audio layer 3) (decoders: mp3float mp3 ) (encoders: libmp3lame libshine )
 DEA..S pcm_s8               PCM signed 8-bit
 DEA..S pcm_u8               PCM unsigned 8-bit

如需要查看某一种decoder或encoder类型，可使用如下命令：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ ffmpeg -h encoder=h264
Encoder libx264 [libx264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10]:
    General capabilities: delay threads
    Threading capabilities: auto
    Supported pixel formats: yuv420p yuvj420p yuv422p yuvj422p yuv444p yuvj444p nv12 nv16 nv21 yuv420p10le yuv422p10le yuv444p10le nv20le gray gray10le
libx264 AVOptions:
  -preset            <string>     E..V..... Set the encoding preset (cf. x264 --fullhelp) (default "medium")
  -tune              <string>     E..V..... Tune the encoding params (cf. x264 --fullhelp)
  ...

$ ffmpeg -h decoder=h264
Decoder h264 [H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10]:
    General capabilities: dr1 delay threads
    Threading capabilities: frame and slice
    Supported hardware devices: dxva2 (null) d3d11va cuda
H264 Decoder AVOptions:
  -enable_er         <boolean>    .D.V..... Enable error resilience on damaged frames (unsafe) (default auto)
  ...

ffprobe

查看多媒体数据包信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
$ ffprobe -show_packets xxx.mp4
[PACKET]
codec_type=video #类型：视频包/音频包
stream_index=0 #stream索引
pts=211968 #显示时间值
pts_time=16.560000 #显示时间
dts=210944 #解码时间值
dts_time=16.480000 #解码时间
duration=512 #包占用的时间值
duration_time=0.040000 #包占用的时间，一帧
convergence_duration=N/A
convergence_duration_time=N/A
size=245248 #包大小
pos=23378934 #包所在的文件偏移位置
flags=__ #包标记：关键包/非关键包
[/PACKET]
[PACKET]
codec_type=audio
stream_index=1
pts=791448
pts_time=16.488500
dts=791448
dts_time=16.488500
duration=1024
duration_time=0.021333
convergence_duration=N/A
convergence_duration_time=N/A
size=520
pos=23624182
flags=K_
[/PACKET]

分析多媒体的封装格式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
$ ffprobe -show_format xxx.mp4
[FORMAT]
filename=.\xxx.mp4 #文件名
nb_streams=2 #包含流的个数
nb_programs=0 # 节目数
format_name=mov,mp4,m4a,3gp,3g2,mj2 #封装模块的名称，这几种封装格式的标签相同，是其中的一个
format_long_name=QuickTime / MOV #封装的完整名称
start_time=0.000000 #起始时间
duration=85.952000 #总长度
size=98113866 #大小
bit_rate=9131968 #码率
probe_score=100
TAG:major_brand=isom
TAG:minor_version=512
TAG:compatible_brands=isomiso2avc1mp41
TAG:encoder=Lavf57.41.100
[/FORMAT]

查看视频文件的帧信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
$ ffprobe -show_frames xxx.mp4
[FRAME]
media_type=video #帧类型：音频/视频/字幕
stream_index=0 #帧所在索引
key_frame=0 #是否关键帧
pkt_pts=7680 #Frame包的pts
pkt_pts_time=0.600000 #Frame包pts的时间显示
pkt_dts=7680 #Frame包的dts
pkt_dts_time=0.600000 #Frame包dts的时间显示
best_effort_timestamp=7680
best_effort_timestamp_time=0.600000
pkt_duration=512 #Frame包的时长
pkt_duration_time=0.040000 #Frame包的时长时间显示
pkt_pos=114173 #Frame包所在文件的偏移位置
pkt_size=210
width=1920 #帧宽度
height=1080 #帧高度
pix_fmt=yuv420p #帧图像色彩格式
sample_aspect_ratio=1:1
pict_type=B #帧类型，IPB中的一种
coded_picture_number=16
display_picture_number=0
interlaced_frame=0
top_field_first=0
repeat_pict=0
color_range=unknown
color_space=unknown
color_primaries=unknown
color_transfer=unknown
chroma_location=left
[/FRAME]
[FRAME]
media_type=audio
stream_index=1
key_frame=1
pkt_pts=29688
pkt_pts_time=0.618500
pkt_dts=29688
pkt_dts_time=0.618500
best_effort_timestamp=29688
best_effort_timestamp_time=0.618500
pkt_duration=1024
pkt_duration_time=0.021333
pkt_pos=116043
pkt_size=558
sample_fmt=fltp
nb_samples=1024
channels=2
channel_layout=stereo
[/FRAME]

分析多媒体的流信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
$ ffprobe -of ini -show_steams xxx.mp4
[streams.stream.0]
index=0
codec_name=h264
codec_long_name=H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10
profile=High
codec_type=video
codec_time_base=1/50
width=1920
height=1080
coded_width=1920
coded_height=1088
has_b_frames=2
sample_aspect_ratio=1\:1
display_aspect_ratio=16\:9
pix_fmt=yuv420p
level=40
...
r_frame_rate=25/1 #实际帧率
avg_frame_rate=25/1 #平均帧率
time_base=1/12800 #时间基数（timestamp）
start_pts=0
start_time=0.000000
duration_ts=1099776
duration=85.920000
bit_rate=8935786 #码率
max_bit_rate=N/A #最大码率
bits_per_raw_sample=8
nb_frames=2148 #总帧数
nb_read_frames=N/A
nb_read_packets=N/A

ffprobe结果数据的格式可支持INI、XML、JSON、CSV、FLAT。

ffplay

ffplay是ffmpeg的一个子工具，它具有强大的音视频解码播放能力，目前它广泛被各种流行播放器（QQ影音、暴风影音等）集成应用。ffplay同样可以作为音视频数据的图形化分析工具。作为一款开源软件，ffplay囊括Linux、Windows、iOS、Android等众多主流系统平台，十分适合进行二次开发。

命令 说明
x 窗口宽度
y 窗口高度
s 视频宽高
fs 强制全屏
an 屏蔽音频
vn 屏蔽视频
sn 屏蔽字幕
ss 根据秒数定位拖动
t 设置播放视频/音频长度
autoexit 播放完毕后自动退出ffplay
stats 输出多媒体播放状态
loop 循环播放次数
codec 强制使用设置的codec进行解码
acodec 强制使用设置的音频解码器
vcodec 强制使用设置的视频解码器
scodec 强制使用设置的字幕解码器
ast 设置将要播放的音频流（可能会有多个program的流）
vst 设置将要播放的视频流（可能会有多个program的流）
sst 设置将要播放的字幕流（可能会有多个program的流）
vf 视频滤镜设置，例如加载ASS或者SRT字幕文件
af 音频滤镜设置 
1
2
3
4
$ ffplay http://127.0.0.1/live/test.m3u8
$ ffplay rtmp://127.0.0.1/live/test
$ ffplay -vfscale=1920:1080 /usr/local/ffmpeg/1.mp4

1
$ ffplay -showmode 1 xxx.mp3

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true