音视频开发（5）FFmpeg流媒体

音视频流媒体，而用于处理流媒体的压缩、录制、编辑操作，开源并强大的工具屈指可数，FFmpeg就是常见的流媒体处理工具。

一、FFmpeg发布与录制RTMP流

RTMP推流需要配合RTMP流媒体服务器。

在流媒体中，直播是一种常见的技术中，而RTMP直播则是最为常见的一种实时直播，目前大部分直播产品都采用RTMP协议。

rtmp流操作参数如下：

rtmp推流命令

# 本地视频文件推流
$ ffmpeg -re -i input.mp4 -acodec copy -vcodec copy -f flv "rtmp://127.0.0.1/live/test"

# 推纯音频流或纯视频流，通过-an分离视频流，-vn分离音频流
$ ffmpeg -re -i input.mp4 -acodec copy -vcodec copy -vn -f flv "rtmp://127.0.0.1/live/test"

# rtmp拉流并推流
$ ffmpeg -re -i "rtmp://127.0.0.1/live/test" -acodec copy -vcodec copy -f flv "rtmp://127.0.0.1/live/test2"

rtmp录制流/拉流

# 录制rtmp到本地文件
$ ffmpeg -i "rtmp://127.0.0.1/live/test" -c copy -f flv output.flv

# rtmp拉流并推流
$ ffmpeg -re -i "rtmp://127.0.0.1/live/test" -acodec copy -vcodec copy -f flv "rtmp://127.0.0.1/live/test2"

发布点和流名称

在url地址”rtmp://127.0.0.1/live/test”中，live为发布点，test为流名称。可以使用rtmp_app参数和rtmp_playpath参数来设置。

因此推拉流可以换成如下命令：

# 推流
$ ffmpeg -re -i input.mp4 -acodec copy -vcodec copy -f flv -rtmp_app live -rtmp_playpath test "rtmp://127.0.0.1"
# 拉流
ffmpeg -rtmp_app live -rtmp_playpath test -i "rtmp://127.0.0.1" -c copy -f flv output.flv

rtmp_pageurl、rtmp_swfurl、rtmp_tcurl参数

在RTMP的Connect命令中包含了很多Object，这些Object中有一个pageUrl。可以使用rtmp_pageurl来设置这个字段以做标识，这与HTTP请求中的referer防盗链基本可以认为是起相同作用的，在RTMP服务器中可以根据这个信息进行referer防盗链操作。按照这个方式还可以设置swfUrl参数以及tcUrl的值。

$ ffmpeg -rtmp_pageurl "http://127.0.0.1" -i "rtmp://127.0.0.1/live/test"

二、FFmpeg发布与录制RTSP流

RTSP曾经是最常见的直播方式。后来在互联网中已经大多数转向RTMP、HTTP+FLV、HLS、DASH等方式。RTSP如今在安防领域中其依然主流。

RTSP传输协议可以有多种方式，不仅可以通过UDP，还可以通过TCP、HTTP隧道等。

rtsp流操作参数如下：

TCP方式录制RTSP直播流

FFmpeg默认使用的RTSP拉流的方式为UDP传输方式，为了避免丢包导致的花屏、绿屏、灰屏、马赛克等问题，还可以考虑将UDP传输方式改为TCP传输方式。

# 使用tcp拉流
$ ffmpeg -rtsp_transport tcp -i rtsp://admin:123456@127.0.0.1:554/h264/stream1 -c copy -f mp4 output.mp4

rtsp的tcp连接流程：

1、发起OPTIONS操作，查询RTSP服务器支持的方法，一般支持：DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、OPTIONS、GET_PARAMETER、SET_PARAMETER等。

2、发起DESCRIBE操作，RTSP服务器返回了流数据的描述，数据为视频数据，编码为H.264格式，通过RTP进行传输。

3、发起SETUP操作，建立会话，获取会话Session，用于后续的操作。

4、带着这个Session发起PLAY操作，得到RTSP服务器的OK状态之后，即可进入接收视频数据的操作，也就是播放操作或录制操作等。

5、如果希望退出播放，或者停止录制，则可以通过TEARDOWN来操作。

另外可以设置user-agent参数，来区分用户端标识，用于防盗链等。

摄影机rtsp转rtmp推流

$ ffmpeg -i "rtsp://admin:123456@127.0.0.1:554/h264/stream1" -vcodec libx264 -acodec aac -f flv -r 25 -b 2097152 -s 1280x720 -an "rtmp://127.0.0.1/live/test"

三、FFmpeg录制HTTP流

http流操作参数如下：

在使用FFmpeg打开直播或者点播文件时，可以通过seek操作进行播放进度移动、定位等操作。

# seekable参数使用，截取http视频30s后的内容
$ ffmpeg -ss 30 -seekable 1 -i http://localhost:8070/video/input.mp4 -c copy output_seek.mp4

可以设置headers、user_agent等参数

# 设置referer等headers和UA，可用于鉴权等控制
$ ffmpeg -headers "referer:http://localhost:8070/index.html" -user_agent "persnal players" -i http://localhost:8070/video/input.mp4 -c copy output.mp4

http拉流录制转封装

# 拉取FLV直播流录制为flv
$ ffmpeg -i http://127.0.0.1:8070/video/live.flv -c copy -f flv output.flv
# 拉取TS直播流录制为flv
$ ffmpeg -i http://127.0.0.1:8070/video/live.ts -c copy -f flv output.flv
# 拉取HLS直播流录制为flv
$ ffmpeg -i http://127.0.0.1:8070/video/live.m3u8 -c copy -f flv output.flv

HTTP流切片

FFmpeg支持文件列表方式的切片直播、点播流，除了HLS之外，还支持HDS流格式、DASH流格式等。

• HLS（HTTP Live Streaming），苹果公司提出，目前领先。
• HDS（HTTP Dynamic Streaming），Adobe公司提出。
• DASH（Dynamic Adaptive Streaming over HTTP），国际标准组MPEG制定的技术标准，避免苹果一家独大。目前B站从18年开始使用该格式，以保证了不同码率、纯音频的无缝切换。

# HDS切片，输出到hds_folder文件夹
$ ffmpeg -i input.mp4 -c copy -f hds hds_folder
# DASH切片
$ ffmpeg -i input.mp4 -c copy -f dash dash/index.mpd
# HLS切片
$ ffmpeg -i input.mp4 -c copy -f hls -bsf:v h264_mp4toannexb hls/output.m3u8

四、FFmpeg录制和发布UDP/TCP流

FFmpeg支持流媒体时不仅仅支持RTMP、HTTP这类高层协议，同样也支持UDP、TCP这类底层协议的流媒体的录制与发布。

TCP

tcp流操作参数如下：

# 监听TCP时指定格式与TCP客户端连接所发布的格式相同时(本例为flv)均正常，如果不同，将会出现解析格式异常
# TCP监听接收流,监听tcp端口1234并录制到本地
$ ffmpeg -listen 1 -f flv -i tcp://127.0.0.1:1234/live/stream -c copy -f flv output_tcp.flv
# TCP请求发布流，将本地文件推流到tcp端口1234
$ ffmpeg -re -i input.mp4 -c copy -f flv tcp://127.0.0.1:1234/live/stream

# 监听TCP端口超时时间listen_timeout设置，拉流超时时间timeout设置
$ ffmpeg -listen_timeout 5000 -timeout 20000000 -listen 1 -f flv -i tcp://127.0.0.1:1234/live/stream -c copy -f flv output_tcp.flv

# TCP传输buffer大小设置send_buffer_size/recv_buffer_size，buffer设置得越小，传输就会越频繁，输出速度会变慢
$ ffmpeg -re -i input.mp4 -c copy -send_buffer_size 265 -f flv tcp://127.0.0.1:1234/live/stream

UDP

udp流操作参数如下：

# UDP监听接收流,监听udp端口6666并录制到本地，超时时间为10s
$ ffmpeg -timeout 10000000 -f h264 -i udp://127.0.0.1:6666 output_udp.mp4
# UDP请求发布流，将本地文件推流到udp端口6666
$ ffmpeg -re -i input.mp4 -f h264 udp://127.0.0.1:6666
# 也可直接使用ffplay进行播放
$ ffplay udp://127.0.0.1:6666

五、FFmpeg推多路流

管道方式输出多路流

FFmpeg进行编码与转封装，编码消耗的资源比较多，转封装则相对较少，很多时候只需要转一次编码并且输出多个封装，在FFmpeg不支持tee文件封装之前，只能采用系统管道方式输出

# 将会在RTMP服务器127.0.0.1中包含两路直播流，一路为test1，另外一路为test22，两路直播流的信息相同
$ ffmpeg -i input.mp4 -vcodec libx264 -acodec aac -f flv - | ffmpeg -f flv -i - -c copy -f flv rtmp://127.0.0.1/live/test1 -c copy -f flv rtmp://127.0.0.1/live/test2

tee封装格式输出多路流

# 使用-f tee，ffmpeg编码一次，输出tee封装格式
$ ffmpeg -re -i input.mp4 -vcodec libx264 -acodec aac -map 0 -f tee "[f=flv]rtmp://127.0.0.1/live/test1 | [f=flv]rtmp://127.0.0.1/live/test2"

tee协议输出多路流

FFmpeg在3.1.3版本之后支持tee协议输出多路流，使用方式更简单粗暴。

$ ffmpeg -re -i input.mp4 -vcodec libx264 -acodec aac -f flv "tee:rtmp://127.0.0.1/live/test1 | rtmp://127.0.0.1/live/test2"

六、视频采集

Windows平台采集

在Windows平台上，我们可以使用vfwcap去采集摄像头，但是这种方式已经过时了，虽然FFmpeg也提供了支持，但是推荐使用dshow去采集摄像头和麦克风。

# 利用dshow枚举设备
$ ffmpeg -f dshow -list_devices true -i dummy
[dshow @ 0000019fc07890c0]  DirectShow video devices (some may be both video and audio devices)
[dshow @ 0000019fc07890c0]  "HD Camera"
[dshow @ 0000019fc07890c0]     Alternative name "@device_pnp_\\?\usb#vid_0408&pid_5373&mi_00#6&48e0e83&0&0000#{65e8773d-8f56-11d0-a3b9-00a0c9223196}\global"
[dshow @ 0000019fc07890c0] DirectShow audio devices
[dshow @ 0000019fc07890c0]  "High Definition Audio"
[dshow @ 0000019fc07890c0]     Alternative name "@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\wave_{36E660DF-422F-4A4D-BA51-CBDCCF71CC79}"
# 利用ffplay展示摄像头
$ ffplay -f dshow -video_size 1280x720 -i video="HP HD Camera"

# 摄像头数据保存为本地文件
$ ffmpeg -f dshow -i video="HD Camera" -f dshow -i audio="@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\wave_{36E660DF-422F-4A4D-BA51-CBDCCF71CC79}" -vcodec h264 -acodec aac out-pick.mp4

对于windows的桌面采集，使用gdigrab。

# 使用gdigrab采集桌面
$ ffmpeg -f gdigrab -t 20 -i desktop out-desktop.mp4

Mac平台采集

# 查看到当前支持的设备
$ ffmpeg -devices
Devices:
    D. = Demuxing supported
    .E = Muxing supported
    --
    D  avfoundation     AVFoundation input device
    D  lavfi             Libavfilter virtual input device
    D  qtkit             QTKit input device
$ ffmpeg -f avfoundation -list_devices true -i ""
[AVFoundation input device @ 0x7fa3b25002c0] AVFoundation video devices:
[AVFoundation input device @ 0x7fa3b25002c0] [0] FaceTime HD Camera
[AVFoundation input device @ 0x7fa3b25002c0] [1] Capture screen 0
[AVFoundation input device @ 0x7fa3b25002c0] AVFoundation audio devices:
[AVFoundation input device @ 0x7fa3b25002c0] [0] Built-in Microphone

从输出的信息中可以看到，当前系统中包含了3个设备，分别如下。

• [0] FaceTime HD Camera -视频输入
• [1] Capture screen 0 -视频输入
• [0] Built-in Microphone -音频输入

# 采集摄像头，需要指定video_size和framerate，-i参数可以使用"FaceTime HD Camera"
$ ffmpeg -f avfoundation -video_size 1280x720 -framerate 30 -i "0" -vcodec libx264 output.mp4
# 也可直接录屏后直接往rtmp推流
$ ffmpeg -y -loglevel warning -f avfoundation -i "0" -r 30 -s 480x320 -threads 2 -vcodec libx264 -f flv rtmp://127.0.0.1/live/test
# 采集桌面 -i参数1可以使用"Capture screen 0"
$ ffmpeg -f avfoundation -i "1" -r:v 30 output.mp4
# 采集麦克风，-i参数可以使用"1:0"或"Built-in Microphone"
$ ffmpeg -f avfoundation -i ":0" output.aac

Linux平台采集

FFmpeg在Linux下支持的采集设备多种多样，包含FrameBuffer（fbdev）设备操作、v4l2设备操作、DV1394设备操作、OSS设备操作、x11grab设备操作等。