FFmpeg库简介

1.FFmpeg基本组成

FFmpeg框架的基本组成包含AVFormat、AVCodec、AVFilter、AVDevice、AVUtils等模块库，如下图所示。

• libavformat：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。
• libavcodec：用于各种类型声音/图像编解码。该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能， libavcodec 库被其他各大解码器 ffdshow， Mplayer 等所包含或应用。
• libavdevice ： 硬 件 采 集 、 加 速 、 显 示 。 操 作 计 算 机 中 常 用 的 音 视 频 捕 获 或 输 出 设 备 ：ALSA,AUDIO_BEOS,JACK,OSS,1394， VFW。
• libavfilter:filter（FileIO、 FPS、 DrawText） 音视频滤波器的开发，如宽高比 裁剪 格式化 非格式化 伸缩。
• libavutil：包含一些公共的工具函数的使用库，包括算数运算 字符操作。
• libavresample：音视频封转编解码格式预设等。
• libswscale：（原始视频格式转换） 用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb565、rgb888 等与 yuv420 等之间转换。
• libswresample：原始音频格式转码。
• libpostproc：（同步、时间计算的简单算法） 用于后期效果处理；音视频应用的后处理，如图像的去块效应。
• ffmpeg：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等。
• ffsever：一个 HTTP 多媒体即时广播串流服务器。
• ffplay：是一个简单的播放器，使用 ffmpeg 库解析和解码，通过 SDL 显示。

2.FFmpeg中的数据结构

• AVFormatContext封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装 格式相关信息。

  • iformat：输入视频的AVInputFormat
  • nb_streams ：输入视频的AVStream 个数
  • streams ：输入视频的AVStream []数组
  • duration ：输入视频的时长（以微秒为单位）
  • bit_rate ：输入视频的码率

• AVInputFormat每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。

  • name：封装格式名称
  • long_name：封装格式的长名称
  • extensions：封装格式的扩展名
  • id：封装格式ID
  • 一些封装格式处理的接口函数

• AVStream视频文件中每个视频（音频）流对应一个该结构体。

  • id：序号
  • codec：该流对应的AVCodecContext
  • time_base：该流的时基
  • r_frame_rate：该流的帧率

• AVCodecContext编码器上下文结构体，保存了视频（音频）编解码相关信息。

  • codec：编解码器的AVCodec
  • width, height：图像的宽高（只针对视频）
  • pix_fmt：像素格式（只针对视频）
  • sample_rate：采样率（只针对音频）
  • channels：声道数（只针对音频）
  • sample_fmt：采样格式（只针对音频）

• AVCodec每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。

  • name：编解码器名称
  • long_name：编解码器长名称
  • type：编解码器类型
  • id：编解码器ID
  • 一些编解码的接口函数

• AVPacket存储一帧压缩编码数据。

  • pts：显示时间戳
  • dts ：解码时间戳
  • data ：压缩编码数据
  • size ：压缩编码数据大小
  • stream_index ：所属的AVStream

• AVFrame存储一帧解码后像素（采样）数据。

  • data：解码后的图像像素数据（音频采样数据）。
  • linesize：对视频来说是图像中一行像素的大小；对音频来说是音频帧的大小。
  • width, height：图像的宽高（只针对视频）。
  • key_frame：是否为关键帧（只针对视频） 。
  • pict_type：帧类型（只针对视频） 。例如I，P，B。