使用TCP上的RTSP傳輸h.264幀的附加數據

Question

在我的一個應用程序中，我試圖實現封裝在其中具有其他數據類型的對象中的H.264幀的發送和接收。要求是通過tcp使用RTSP傳輸這些幀。在接收端，這些幀需要與附加數據一起提取並顯示出來。 我花了相當多的時間試圖做到這一點，儘可能確認標準，但我似乎沒有找到任何具體的有效載荷格式，談論在RTSP會話中傳遞自定義對象。 正在使用NAL單位我最好的選擇還是有更好的解決方案。

Answer 1

SEI NAL Unit是將數據直接嵌入到H.264數據流中的數據佔位符之一。除此之外，您可以將自定義數據作爲定製自定義有效內容格式的自定義類型的備用數據流發送。

這是來自其中一個RTSP服務器的響應，它能夠從視頻和音頻（底部的兩行）中流式傳輸元數據。請注意，rtpmap類型96-127是「動態類型」，適用於自定義格式。

DESCRIBE rtsp://192.168.0.55/data RTSP/1.0 
CSeq: 1 
Accept: application/sdp 
RTSP/1.0 200 OK 
CSeq: 1 
Date: Fri, Aug 03 2012 07:13:15 GMT 
Content-Base: rtsp://192.168.0.55/data/ 
Content-Type: application/sdp 
Content-Length: 629 

v=0 
o=- 1343377422075556 1 IN IP4 192.168.0.55 
s=Session of first stream 
i=First Codec Stream 
t=0 0 
a=tool:LIVE555 Streaming Media v2007.08.03 
a=type:broadcast 
a=control:* 
a=range:npt=0- 
a=x-qt-text-nam:Session of first stream 
a=x-qt-text-inf:First Codec Stream 
m=video 0 RTP/AVP 96 
c=IN IP4 0.0.0.0 
a=rtpmap:96 H264/90000 
a=fmtp:96 packetization-mode=1;profile-level-id=428028;sprop-parameter-sets=Z0KAKIyNQFoJIg==,aM48gA== 
a=control:track1 
m=audio 0 RTP/AVP 97 
c=IN IP4 0.0.0.0 
a=rtpmap:97 PCMU/16000 
a=control:track2 
m=metadata 0 RTP/AVP 98 
c=IN IP4 0.0.0.0 
a=rtpmap:98 METADATA/64000 
a=control:track3