Media Foundation で動画に画像・文字を合成する

まず結論

MP4 の各フレームに画像や文字を焼き込む基本形は以下の通りです。

1. Source Reader でデコード → 非圧縮フレームを取り出す
2. 描画 API で合成 → GDI+ や Direct2D で画像・文字を載せる
3. 必要なら色変換 → RGB32 → NV12 など
4. Sink Writer で再エンコード → 新しい MP4 として出力

画像や文字を描くのは Media Foundation の仕事ではありません。 GDI+ や Direct2D/DirectWrite などの描画 API を使います。

なぜややこしいのか

「動画に文字を入れる」には実際には4つの要素が混ざっています。

処理イメージ

input.mp4 → Source Reader → 非圧縮フレーム(RGB32) → GDI+で描画 → BGRA→NV12変換 → Sink Writer → output.mp4

パイプラインの分担

入力: Source Reader

• MF_SOURCE_READER_ENABLE_VIDEO_PROCESSING を有効にすると、YUV→RGB32 変換とインターレース解除を自動で行う
• 描画しやすいように RGB32 で受け取るのが初手では扱いやすい

描画: GDI+ または Direct2D

• まず動かすなら GDI+: 導入が軽く、1ファイル完結しやすい
• 速度重視なら Direct2D/DirectWrite: 長尺・高解像度向け

色変換: RGB32 → NV12

H.264 エンコーダーは NV12 などの YUV 系を前提とする。Video Processor MFT を使うか、自前で変換する。

出力: Sink Writer

• 出力ストリーム型: ファイルに書きたい形式（例: MFVideoFormat_H264）
• 入力ストリーム型: アプリが渡す形式（例: MFVideoFormat_NV12）

音声

実務では映像だけ再エンコードし、音声は compressed のまま remux する構成が使いやすい。

サンプルコードのポイント

この記事には Visual Studio 2022 の C++ コンソールアプリにそのまま貼れる 1 ファイル完結サンプル が掲載されています。

OverlayMp4.exe input.mp4 overlay.png output.mp4

コードの特徴

• 前提: Windows 10/11、x64 ビルド、プリコンパイル済みヘッダー不使用
• 入力動画の幅と高さは偶数（NV12 が 4:2:0 のため）
• 出力は映像のみの MP4
• 重ねる文字列は kOverlayText で固定（デフォルトは HelloWorld）

実装の流れ

1. ScopedMf と ScopedGdiplus で MF と GDI+ を初期化
2. ConfigureSourceReader で入力動画の情報を取得し、RGB32 で受け取る設定
3. CreateSinkWriter で出力ファイルを作成（H.264/NV12）
4. ループで ReadSample → CopySampleToTopDownBgra → DrawOverlay → BgraToNv12 → WriteSample
5. 最後に Finalize で完了

読むときの重要ポイント

stride と上下向きを先に吸収する

動画フレームは stride が width×4 と一致しないことや、上下向きが逆の場合がある。コードでは top-down の BGRA バッファに正規化してから描画している。

ReadSample の flags と sample の両方を見る

ReadSample は S_OK でも sample == nullptr になることがある（STREAMTICK、ENDOFSTREAM など）。HRESULT、flags、inputSample の3つを揃えて見る必要がある。

timestamp と duration は入力を引き継ぐ

固定 fps 前提で毎回計算するより、入力サンプルの timestamp/duration をできるだけ引き継ぐほうが崩れにくい。

本番で伸ばすなら

1. 音声 remux を足す: 映像だけ再エンコード、音声はそのまま
2. Video Processor MFT を使う: 色空間変換、サイズ変更、インターレース解除をまとめて扱える
3. Direct2D/DirectWrite に置き換える: 高解像度・長尺向け
4. D3D11 surface ベースに進む: GPU パスへ寄せたい場合
5. Custom MFT として切り出す: 複数アプリで再利用したい場合

まとめ

Media Foundation で動画フレームに画像や文字を焼き込むときは、取り出す・描く・変換する・書き戻す の4段階に分けて考えると整理しやすい。最初は Source Reader → RGB32 → GDI+ → NV12 → Sink Writer の構成で動かし、必要に応じて段階的に強化していくのが実務的。