媒体播放管线：提取、解码与输出

上一章看了系统服务。这一章回答：一个视频文件怎么变成画面和声音，MediaExtractor、 MediaCodec、NuPlayer 各做什么，应用侧与系统侧的边界在哪？

容器提取、解码与输出是不同阶段

常见误解	正确理解
MediaPlayer 内部就是一个类	它由 NuPlayer/MediaCodec 等 Native 组件实现
解码就是“解压文件”	要分容器提取、音视频分离、解码、同步四步
ExoPlayer 是系统服务	它是应用库，仍基于 MediaCodec 等系统能力

核心结论

1. MediaExtractor 解析容器并分离音视频轨。
2. MediaCodec 提供编解码能力，支持硬件加速。
3. NuPlayer 是系统播放器，负责管线调度与 A/V 同步。
4. 视频输出到 Surface，音频输出到 AudioFlinger。
5. ExoPlayer 是应用层播放器，底层仍用 MediaCodec。

播放管线主链

逐步解释：

1. 提取：解析容器，分离音视频轨。
2. 解码：音视频各自经 MediaCodec 解码。
3. 同步：NuPlayer 协调时间轴。
4. 输出：音频到 AudioFlinger，视频到 Surface。

MediaCodec 为什么重要

MediaCodec 是编解码的统一接口，硬件与软件编解码器都通过它暴露。应用层播放器 （MediaPlayer/ExoPlayer）最终都依赖它，排查编解码问题从 MediaCodec 日志开始。

源码证据

阅读目标：确认播放器与解码器入口。

正文指针：frameworks/av/media/libmediaplayerservice/nuplayer/（NuPlayer）； MediaCodec.java 的编解码接口。

// MediaCodec.java（伪代码，行号以 r75 为准）
public final class MediaCodec {
    // 编解码会话：configure → start → 输入/输出缓冲
}

这段代码证明： MediaCodec 是编解码统一接口；NuPlayer 在 Native 侧调度它完成 播放。

验证与排障

环境：开发设备或模拟器；以下命令不需要 root。

adb shell dumpsys media.player
adb logcat -v threadtime | grep -E "MediaCodec|NuPlayer|MediaPlayer|OMX|Codec2"
adb shell dumpsys media.codec

先确认播放器状态，再看编解码日志与解码器名称。播放失败先分阶段：提取失败、解码 失败、输出失败各有特征。

常见误区

1. “MediaPlayer 是单类实现”：底层是 NuPlayer 管线。
2. “解码 = 解压”：分提取、分轨、解码、同步。
3. “ExoPlayer 不依赖系统”：底层用 MediaCodec。
4. “视频问题都在解码”：同步与输出同样可能。

延伸问题

1. 音视频不同步通常出在哪一环？
2. 硬解与软解如何选择？
3. DRM 如何介入播放管线？
4. 流媒体播放与本地播放的管线差异是什么？

源码入口

文件	关键位置	作用
frameworks/av/media/libmediaplayerservice/nuplayer/	播放器	调度
MediaCodec.java	编解码	解码
MediaExtractor	提取	分轨
dumpsys media.player	状态	排障

公共路径：frameworks/av/ 与 frameworks/base/media/java/android/media/。 行号以 r75 检索为准。

播放或索引失败时，见 存储与多媒体问题排查。