TS封装格式

ts流最早应用于数字电视领域，其格式非常复杂包含的配置信息表多达十几个，视频格式主要是mpeg2。苹果公司发明的http live stream流媒体是基于ts文件的，不过他大大简化了传统的ts流，只需要2个最基本的配置表PAT和PMT，再加上音视频内容就可以了，hls流媒体视频编码的主要格式为h264/mpeg4，音频为aac/mp3。

ts文件分为三层：ts层（Transport Stream）、pes层（Packet Elemental Stream）、es层（Elementary Stream）。es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层是在pes层上加入了数据流识别和传输的必要信息。

1.ts层

ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。

1.1.ts header

ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。
• PMT表：他主要的作用就是指明了音视频流的PID值。
• 音频流/视频流：承载音视频内容。

PID是TS流中唯一识别标志，Packet Data是什么内容就是由PID决定的。如果一个TS流中的一个Packet的Packet Header中的PID是0x0000，那么这个Packet的Packet Data就是DVB的PAT表而非其他类型数据（如Video、Audio或其他业务信息）。下表给出了一些表的PID值，这些值是固定的，不允许用于更改。

下面以一个TS流的其中一个Packet中的Packet Header为例进行说明：

sync_byte=01000111, 就是0x47,这是DVB TS规定的同步字节,固定是0x47.

transport_error_indicator=0, 表示当前包没有发生传输错误.

payload_unit_start_indicator=0, 含义参考ISO13818-1标准文档

transport_priority=0, 表示当前包是低优先级.

PID=00111 11100101即0x07e5, Video PID

transport_scrambling_control=00, 表示节目没有加密

adaptation_field_control=01 即0x01,具体含义请参考ISO13818-1

continuity_counte=0010 即0x02,表示当前传送的相同类型的包是第3个

1.2.adaption

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。

1.3.PAT格式(Program Association Table，节目关联表)

PAT表定义了当前TS流中所有的节目，其PID为0x0000，它是PSI的根节点，要查寻找节目必须从PAT表开始查找。

通过一段TS流中一个Packet分析PAT表，这里我们分析一段TS流其中一个Packet的Packet Data部分：

首先给出一个数据包，其数据如下：

分析Packet Header如下表所示：

根据包头数据格式，我们可以知晓整个数据包的属性，列表如下：

如上表所示，我们可以知道，首先Packet的Packet Data是PAT信息表，因为其PID为0x0000，并且在包头后需要除去一个字节才是有效数据（payload_unit_start_indicator="1"）。这样，Packet Data就应该是“00 b0 11 00 01 c1 00 00 00 00 e0 1f 00 01 e1 00 24 ac48 84 ff ff …… ff ff”。

由以上几个表可以分析出PAT表和PMT表有着内在的联系。也就是之前提到的。PAT表描述了当前流的NIT（Network Information Table，网络信息表）中的PID、当前流中有多少不同类型的PMT表及每个PMT表对应的频道号。

1.4.PMT格式(Program Map Table，节目映射表)

通过一段TS流中一个Packet分析PMT表，通过分析一段TS流的数据包Packet来学习PMT表。下面给出了一段TS流数据中的一个Packet（十六进制数）

首先解析Packet Header，分析如下：

因为payload_unit_start_indicator=‘1’，在解析数据包的时候需要去除Packet Data的第一个字节。下面是对Packet Data的详细解析：

1.4.pes层

pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。

pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。

音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。

1.5.es层

es层就是音视频裸数据了，常用的音频编码格式为AAC，视频编码格式为H.264

2.打包H.264和AAC为TS

对于H.264视频而言，每一帧的时间长度为

frame_duration = 1000/fps

当fps为25时，一帧时间为40ms

对于AAC音频而言，每一帧的时间长度为

音频帧的播放时间=一个AAC帧对应的采样样本的个数/采样频率(单位为s)

一帧 1024个 sample。采样率 Samplerate 44100KHz，每秒44100个sample, 所以根据公式音频帧的播放时间=一个AAC帧对应的采样样本的个数/采样频率

当前AAC一帧的播放时间是= 1024*1000000/44100= 22.32ms(单位为ms)

理论上的音视频(播放)同步是这样的：

由此得到了每一帧数据的持续时间，音视频交叉存储在容器中：一个时间轴：

时间轴：022.324044.6266.968089.16111.48120................

音频：0 22.32 44.62 66.9689.16 111.48................

视 频：04080120................

即视频的持续时间相加 和音频的持续时间相加作比较，谁小写入哪个。

(自己的方法)

音频数据（AAC 48k） 21.33 42.44 63.99 85.32

视频数据（H264 25fps） 40 80

时间轴 ------------------------------------------->

（ts容器）循环做（写一帧视频，然后写一帧音频，然后视频的时间减去音频的时间，如果大于一帧音频的时间，就多写一帧音频，知道视频多出来的时间小于一帧音频）

使用Elecard Stream Analyzer 可以分析TS流