FFmpeg攝像頭編碼h264 mp4複用原子avcC太小

Question

我試圖將Android攝像頭預覽幀編碼爲h264，並將mux複製到mp4容器。

我可以成功創建mp4文件。但MP4格式似乎損壞。

使用ffprobe，我得到以下錯誤。

$ ffprobe o.mp4 
[h264 @ 0x209fe50] non-existing PPS 0 referenced 
[h264 @ 0x209fe50] decode_slice_header error 
[h264 @ 0x209fe50] no frame! 
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x209ea60] decoding for stream 0 failed 
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x209ea60] Could not find codec parameters for stream 0 (Video: h264 (avc1/0x31637661), none, 568x320, 505 kb/s): unspecified pixel format 

然後我使用mp4info工具來查看信息是否正確。我找到了這個。

$ mp4info o.mp4 
mp4info version 2.0.0 
o.mp4: 
ReadProperties: atom 'avcC' is too small; overrun at property: configurationVersion (src/mp4atom.cpp,386) 
mp4info: can't open o.mp4 

通過文件的hexdump都內容，我得到這個

$ xxd o.mp4 |grep -A 5 -B 5 avcC 
0039170: 6331 0000 0000 0000 0001 0000 0000 0000 c1.............. 
0039180: 0000 0000 0000 0000 0000 0238 0140 0048 ...........8.@.H 
0039190: 0000 0048 0000 0000 0000 0001 0000 0000 ...H............ 
00391a0: 0000 0000 0000 0000 0000 0000 0000 0000 ................ 
00391b0: 0000 0000 0000 0000 0000 0000 0018 ffff ................ 
00391c0: 0000 0008 6176 6343 0000 0020 7374 7473 ....avcC... stts 
00391d0: 0000 0000 0000 0002 0000 004f 0000 0ea6 ...........O.... 
00391e0: 0000 0001 0000 0000 0000 0058 7374 7373 ...........Xstss 
00391f0: 0000 0000 0000 0012 0000 0001 0000 0005 ................ 
0039200: 0000 000a 0000 000f 0000 0014 0000 0019 ................ 
0039210: 0000 001e 0000 0023 0000 0028 0000 0029 .......#...(...) 

如果我不添加全局頭AVCodecContext，

if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER) { 
    // oc_ctx->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; 
} 

ffprobe可以檢測格式沒有錯誤，也可以玩ffplay。但avcC原子仍然不正確。其他玩家不能玩。

爲什麼muxer沒有寫出正確的avcC原子？

我該如何解決？

Answer 1

您必須在編解碼器上下文中設置extradata字段。格式在這裏引用：Possible Locations for Sequence/Picture Parameter Set(s) for H.264 Stream

Answer 2

已解決。這個問題只發生在新版本的ffmpeg中。

當調用ffmpeg api avformat_write_header/av_write_tailer時，它使用AVStream->codecpar中的數據，因爲AVStream->codec被標記爲不建議使用。

而且額外的數據在avcodec_open2之後填充，所以我需要將額外的數據複製回AVStream->codecpar。

stream->codecpar->extradata = av_malloc(oc_ctx->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE); 
stream->codecpar->extradata_size = oc_ctx->extradata_size; 
memcpy(stream->codecpar->extradata, oc_ctx->extradata, oc_ctx->extradata_size); 

類似的代碼片段還可以在ffmpeg的項目中找到ffmpeg.c

if (!ost->st->codecpar->extradata && avctx->extradata) { 
    ost->st->codecpar->extradata = av_malloc(avctx->extradata_size + FF_INPUT_BUFFER_PADDING_SIZE); 
    if (!ost->st->codecpar->extradata) { 
     av_log(NULL, AV_LOG_ERROR, "Could not allocate extradata buffer to copy parser data.\n"); 
     exit_program(1); 
    }  
    ost->st->codecpar->extradata_size = avctx->extradata_size; 
    memcpy(ost->st->codecpar->extradata, avctx->extradata, avctx->extradata_size); 
}