MP4文件格式完全技术手册：从入门到精通

一、初识MP4——基础介绍

什么是MP4？

MP4是“MPEG-4 Part 14”的缩写，是一种多媒体容器格式（Container Format），文件后缀通常为.mp4。所谓“容器”，可以理解为一个精心设计的“数字包裹”，它的作用不是本身生成视频或音频，而是按照特定规则将视频画面、音频声音、字幕甚至静态图像等不同类型的数据打包在同一个文件中。

打个比方：做一盘菜需要用到食材（视频数据）、调料（音频数据）和菜谱（元数据），而MP4就是那个将它们有序装在一起的餐盒。餐盒本身不决定菜的味道，但决定了这份“套餐”如何被保存、运输和打开食用。

MP4格式由国际标准化组织（ISO）旗下的动态图像专家组（MPEG）制定，其正式的国际标准编号为ISO/IEC 14496-14。它基于苹果公司的QuickTime文件格式（MOV）发展而来，并在此基础上进行了标准化和功能增强，于2001年正式发布第一版，之后历经2003年、2018年和2020年多次修订，现版本为ISO/IEC 14496-14:2020。

MP4的核心特点

  • 通用性极强：几乎所有的智能手机、平板电脑、计算机、智能电视、游戏机以及各大浏览器和社交平台（微信、抖音、B站）都原生支持MP4，它是事实上的“全球通用视频格式”。
  • 画质与体积的平衡：在同样清晰度下，MP4文件通常比老旧的AVI格式小得多，非常适合存储和在线传输。
  • 流媒体支持：MP4原生支持“边下载边播放”，完美契合YouTube、Netflix等流媒体平台的需求。
  • 功能丰富：除了音视频，还能容纳字幕、静态图片和元数据（如标题、作者、版权信息等）。

常见误区：容器与编码不是一回事

一个常见的误解是将MP4本身当作一种视频压缩技术。实际上，MP4是容器，不是编码本身。它内部存放的视频和音频数据，需要用特定的编码算法进行压缩。

绝大多数MP4文件的视频部分采用H.264（即MPEG-4 Part 10，也称AVC） 或更新的H.265（HEVC） 编码，音频部分则普遍采用AAC（高级音频编码） 格式。H.264/AAC这个组合是MP4能兼顾高画质和小体积的核心原因。

这个区别也解释了为什么同样是MP4文件，有的非常清晰，有的却很模糊——这通常取决于内部视频所使用的具体编码格式及其参数设置，而非MP4这个外壳本身。

历史脉络：从标准到普及

MP4的故事始于上世纪末。1998年，MPEG正式定案了MPEG-4标准（ISO/IEC 14496），这是一套基于对象的新型多媒体压缩标准，旨在为互联网等低码率环境提供高质量的视频传输方案。MP4文件格式作为该标准第14部分被定义出来。

然而，一个标准的成功也离不开技术生态的推动。在MP4发展初期，基于微软MPEG-4 V3编码破解而来的DivX编码器，以及其后继者、开源免费的XviD编码器，在互联网上掀起了第一波MPEG-4视频的传播热潮。真正让MP4成为“通用格式”的，是其对流媒体播放的完美支持——通过将元数据（moov盒）放置在文件开头，播放器可以在下载完整个文件之前就开始播放。

局限与不足

  • 字幕支持相对有限：通常需要将字幕内嵌到画面中或使用简单的文本轨道，不如MKV格式灵活。
  • 压缩是有损的：为了追求更小的体积，会舍弃一些人眼不易察觉的细节。对于专业视频编辑或对画质有极致要求的场景，无损或近无损格式可能更合适。
  • 对H.265等新编码的兼容性仍在普及中：虽然MP4容器本身支持H.265，但许多旧设备无法解码。

二、核心技术解析——Box原子结构

Box的基本概念

MP4文件由一系列称为Box（或称Atom）的数据块组成，Box之间以树状结构嵌套组织，排列紧凑无冗余数据。每个Box由**Header（头部）和Body（数据体）两部分组成，Header按Big-Endian（大端）**字节序存储（即高位字节在前，低位在后，这是网络传输和许多多媒体格式的标准字节序）。

Box Header结构

字段大小说明
size4字节包含Header在内的整个Box大小。若size==0，表示该Box是文件的最后一个Box，一直延伸到文件末尾；若size==1，需读取后续largesize字段
type4字节Box类型标识，如”ftyp””moov””mdat”，以ASCII码存储，共4个字符
largesize8字节仅在size==1时存在，用于存放超大Box（>2^32字节）的实际大小
extended_type16字节仅在type=='uuid'时存在，用于用户自定义扩展类型

Body结构：存放该Box的具体数据，内容依Box类型而异。有的Box直接存储数据（如mdat），有的则嵌套子Box，称为容器Box（Container Box）（如moov、trak）。

FullBox：带版本控制的扩展

在Box基础上衍生出FullBox类型，Header中多出两个字段，用于支持版本演进和标志控制：

字段大小说明
version1字节Box版本号（0-255），为未来扩展预留
flags3字节（24位）标志位，含义由具体Box定义

许多重要Box（如mvhd、tkhd、stsd）都属于FullBox类型。

三、MP4的顶层Box全景

一个标准的MP4文件包含以下顶层Box，其中标√的为必需Box，其余为可选：

Box必需说明
ftyp√文件类型盒——声明文件格式版本和兼容品牌
pdin渐进式下载信息盒，用于优化下载速度
moov√电影元数据盒——所有轨道元数据的容器（”目录”）
moof电影片段盒——用于fMP4分段流式传输
mfra电影片段随机访问盒——配合moof实现随机访问
mdat√媒体数据盒——存放实际音视频样本数据
free/skip空闲空间盒——占位或预留空间，可被覆盖
udta用户数据盒——版权信息、评论等用户自定义数据
meta元数据信息盒——存放标签、封面图等
mvex电影扩展盒——支持片段模式的元数据

四、moov解剖——MP4的“中央目录”

moov（Movie Box）是MP4最复杂的部分，包含播放所需的所有元数据信息。没有moov，播放器就不知道如何解码和播放mdat中的实际数据。

4.1 mvhd——电影头盒（Movie Header Box）

FullBox类型，记录电影的全局信息：

  • 创建时间（creation_time）和修改时间（modification_time）——以1904年1月1日0时为起点的秒数
  • 时间度量标尺（time_scale）——每秒的时间单位数，如90000表示每秒钟有90000个时间单位
  • 可播放时长（duration）——以time_scale为单位，除以time_scale即得实际秒数
  • 播放速率（rate）和音量（volume）
  • 电影矩阵变换（matrix）——用于视频的旋转、缩放和切变变换
  • 下一轨道ID（next_track_ID）——用于创建新轨道时分配唯一ID

4.2 trak——轨道盒（Track Box）

每个媒体轨道（视频、音频、字幕、提示等）各有一个trak，内部包含该轨道的完整描述信息。

4.2.1 tkhd——轨道头盒（Track Header Box）

FullBox类型，记录轨道的基础属性：

  • 轨道ID（track_ID）——全局唯一标识，由mvhd的next_track_ID分配
  • 轨道宽度和高度（对于视频轨）——以像素为单位
  • 音量（对于音频轨）——0.0到1.0之间
  • 轨道标志（flags）——是否启用、是否作为预览、是否在电影中显示等

4.2.2 edts——编辑盒（Edit Box）

可选Box，用于定义轨道的编辑列表——即哪些时间段需要播放、哪些需要跳过。包含elst（编辑列表表），每个Entry定义：

  • segment_duration：片段时间长度
  • media_time：从媒体时间线何处开始
  • media_rate：播放速率（正数正向播放，负数反向播放）

4.2.3 mdia——媒体盒（Media Box）

trak的核心容器，包含轨道媒体数据的全部描述信息：

  • mdhd（媒体头盒）：FullBox，记录该媒体的时间标尺和时长，独立于电影全局的时间标尺
  • hdlr（处理器引用盒）：声明轨道的媒体类型和处理器
    • handler_type为”vide”表示视频轨，”soun”表示音频轨，”subt”表示字幕轨，”hint”表示提示轨（用于RTP流式传输）
    • name字段包含可读的处理器名称
  • minf（媒体信息盒）：最关键的容器，内含媒体信息的核心表

minf根据媒体类型不同略有差异：

  • 视频轨：包含vmhd（视频媒体头）
  • 音频轨：包含smhd（声音媒体头）
  • 提示轨：包含hmhd（提示媒体头）

无论哪种类型，minf都包含dinf（数据信息盒，指向数据的存储位置）和stbl（样本表盒）。

4.2.4 stbl——样本表盒（Sample Table Box）——“寻址地图”

stbl是MP4实现随机访问、快进快退、逐帧播放的核心。它包含以下关键子Box，需要综合解析才能还原完整的帧列表：

① stsd——样本描述盒（Sample Description Box）

存放该轨道解码器所需的描述信息，是解码器初始化的关键数据：

  • 对于H.264视频，stsd的类型标识为”avc1″，在扩展区域存放SPS（序列参数集）和PPS（图像参数集）——这两个参数集包含了视频的分辨率、帧率、熵编码模式等关键解码参数
  • 对于H.265视频，类型标识为”hev1″或”hvc1″
  • 对于AAC音频，类型标识为”mp4a”，包含：
    • channelcount字段：声道数（如0x0002表示立体声）
    • samplesize字段：采样位深（如0x0010表示16位）
    • samplerate字段：采样率（如0x5DC00000经右移16位后为24000Hz）
    • AudioSpecificConfig扩展数据：包含AAC的Profile等级

② stts——时间-样本盒（Time-to-Sample Box）

定义每个Sample的时长（duration）。采用**行程编码（Run-Length Encoding）**方式压缩存储：将持续时间相同的连续Sample归为一个Entry，记录sample_count（连续样本数）和sample_duration（每个样本时长）。例如，如果连续30帧每帧时长相同，只需一个Entry描述，而非30条记录。

③ stss——同步样本盒（Sync Sample Box）

列出所有关键帧（Sync Sample，即I帧）的序号列表（从1开始计数）。关键帧是随机访问的入口——播放器拖动进度条时，查询stss找到最近的关键帧位置，从该处开始解码播放（因为只有关键帧不依赖其他帧即可完整解码）。

④ stsc——样本-块映射盒（Sample-to-Chunk Box）

关键概念：MP4为优化存储，引入**Chunk（块）**作为存储单位。一个Chunk包含一个或多个连续存储的Sample。多个Chunk组成一个Track。stsc的Entry结构为：

  • first_chunk：起始Chunk序号（从1开始计数）
  • samples_per_chunk：该Chunk包含的Sample数量
  • sample_description_index：指向stsd中描述信息的索引

解析规则：从当前Entry的first_chunk开始，到下一个Entry的first_chunk-1为止，所有Chunk具有相同的samples_per_chunk值。如果文件中所有Chunk的样本数相同，则只需一个Entry。

⑤ stsz/stz2——样本大小盒（Sample Size Box）

记录每个Sample的字节大小（从Sample的第一个字节到最后一个字节的长度）。若所有Sample大小相同，只需记录一个统一值即可，极大节省空间。

⑥ stco/co64——块偏移盒（Chunk Offset Box）

记录每个Chunk在文件中的绝对偏移量（从文件头开始计算的字节数），用于定位实际数据在mdat中的位置。若偏移量超出2^32范围（即文件大于4GB），使用co64（64位偏移）代替stco。

⑦ 其他辅助Box（按需出现）：

  • ctts：合成时间-样本盒（Composition Time to Sample）——当解码顺序（DTS）与合成顺序（PTS）不同时使用，记录每个样本的合成时间偏移量（常见于B帧场景）
  • stsh：阴影同步样本盒——用于备用关键帧列表
  • padb：样本填充位——记录填充比特数，用于音频编解码
  • sdtp：独立和可丢弃样本标记——标记样本是否可独立解码、是否可丢弃（B帧通常标记为可丢弃）
  • sbgp/sgpd：样本分组——按一定规则对样本进行分组，用于更灵活的索引

五、mdat——媒体数据盒（Media Data Box）

mdat存放压缩后的实际音视频**样本（Sample）**数据——即经过编码压缩后的视频帧和音频帧。这些数据本身是二进制流，无法直接阅读，必须结合moov中的元数据才能被解码器正确解析。

播放器通过moov中的stbl索引，按照以下步骤提取数据：

  1. 通过stsc找到目标样本所在的Chunk编号
  2. 通过stco/co64获取该Chunk的文件偏移量
  3. 通过stsz获取该样本的字节大小
  4. 从mdat中该偏移量位置开始，读取对应大小的数据
  5. 结合stsd中的解码器配置（如SPS/PPS）进行解码播放

一个MP4文件可以有多个mdat Box，当文件超大时，size设为1并使用largesize字段。

六、扩展与变体Box

6.1 mvex——电影扩展盒（Movie Extends Box）

用于支持**片段（Fragment）**模式，包含：

  • mehd：电影扩展头盒——记录片段的总时长
  • trex：轨道扩展默认值——定义片段中轨道的默认参数（如默认样本大小、默认时长等）

6.2 moof——电影片段盒（Movie Fragment Box）

用于fMP4（Fragmented MP4），将媒体数据切分为多个分段，每个分段有自己的元数据，从而实现低延迟流式传输。包含：

  • mfhd：片段头盒——记录片段序号，用于拼接时排序
  • traf：轨道片段盒——包含该片段中每个轨道的元数据
    • tfhd：轨道片段头盒——片段级别的轨道参数
    • trun：片段运行盒——记录该片段中样本的偏移量、大小和标志

6.3 mfra——片段随机访问盒（Movie Fragment Random Access Box）

配合moof实现分段的随机访问，包含：

  • tfra：片段随机访问表——按时间或位置索引片段
  • mfro：片段随机访问偏移——指向mfra的起始位置

6.4 meta——元数据盒

存放非音视频的元数据信息，如标签、封面图等。内部包含：

  • hdlr：处理器声明——说明元数据的类型
  • iloc：项目位置——描述元数据项在文件中的位置
  • ipro：项目保护——元数据项的版权保护信息
  • iinf：项目信息——元数据项的详细描述
  • pitm：主项目引用——标识主要的元数据项（如封面图）

6.5 保护与加密Box（用于DRM数字版权管理）

  • sinf：保护方案信息盒——包含加密方案的元数据
  • frma：原始格式盒——加密前原始媒体的类型标识
  • schm：方案类型盒——声明使用的加密方案（如”cenc”通用加密）
  • schi：方案信息盒——存放特定于加密方案的参数（如密钥ID、加密算法等）

七、流媒体优化——moov前置与fMP4

7.1 moov前置（Fast Start / Progressive Download）

标准MP4将moov放在文件末尾、mdat放在开头。这导致播放器必须下载完整个文件才能读取moov开始播放，不适合流媒体场景。因此产生了**“Fast Start”优化**：将moov移至ftyp之后、mdat之前，使播放器下载少量数据即可获取完整元数据，实现边下载边播放。这一技术也被称为“Web Optimized MP4”。

7.2 fMP4与moof——分段流媒体

将媒体数据切分为多个moof（元数据）+mdat（数据）片段，每个片段独立可解码。fMP4被广泛应用于**HLS（HTTP Live Streaming）和DASH（Dynamic Adaptive Streaming over HTTP）**等自适应码率流媒体协议，实现：

  • 更低的延迟：不必等待整个文件或完整moov加载
  • 更细粒度的码率切换：不同质量的片段可以无缝切换
  • 直播场景支持：持续生成新的片段供播放器获取

八、术语体系汇总

理解MP4必须掌握以下关键术语：

术语定义
BoxMP4文件的基本数据单元，由Header（size+type）和Body组成
FullBox扩展Box，Header增加了version(1字节)和flags(3字节)
Container BoxData部分包含子Box的Box（如moov、trak、mdia）
Sample媒体数据的最小单位——视频的一帧画面或一段固定时长的音频数据
Track同类Sample的集合——视频轨、音频轨、字幕轨、提示轨等
Chunk一个Track中连续几个Sample组成的单元，是存储时的基本单位
Sample Table（stbl）记录样本寻址信息的综合表格，包括stts、stsc、stsz、stco、stss等
PTS（合成时间戳）Presentation Time Stamp——样本在播放时间轴上的显示顺序
DTS（解码时间戳）Decoding Time Stamp——样本在解码时间轴上的解码顺序
I帧（关键帧）不依赖其他帧即可独立解码的帧，是随机访问的入口
P帧（预测帧）依赖前面已解码的帧进行预测编码的帧
B帧（双向预测帧）依赖前后已解码的帧进行预测编码的帧（PTS与DTS不同）
SPS/PPS序列参数集/图像参数集——H.264/H.265视频解码必需的配置数据
fMP4Fragmented MP4——将文件切分为多个片段的MP4变体，用于流媒体

九、技术总结

MP4用一套极其规整的Box层级结构，在文件体积、解码效率和功能灵活性之间找到了最佳平衡点。其核心设计思想可概括为：

  1. 分离元数据与实际数据：moov（目录）与mdat（货物）分离，支持快速解析和流式播放
  2. 精确的随机访问能力：stbl通过stts（时长）、stsc（Chunk映射）、stsz（大小）、stco（偏移）、stss（关键帧）提供完整的帧级索引
  3. 高度的可扩展性：Box嵌套结构支持新功能（如moof、sinf、meta）的无缝扩展，无需改动已有结构
  4. 流媒体原生支持：moov前置实现渐进式下载，moof分段架构满足从点播到直播的全场景需求

虽然其解析复杂度远高于FLV等简单格式，但这种复杂换来了无与伦比的跨平台兼容性和流媒体适应性——这正是在线视频时代MP4能成为事实标准的技术根源。无论你在手机上拍摄一段视频，还是在Netflix上追一部剧，亦或在微信中分享一段短片，MP4都在幕后默默支撑着这份数字体验的流畅运行。

作者

老丹

关注我
其他文章