如何從iOS上的實時視頻獲取每幀RGB值？

Question

我正在使用iPhone製作應用程序。我想從每幀實時視頻獲取數字RGB值。可以做到嗎？如果是這樣，請告訴我。更多欣賞一些示例代碼。非常感謝你提前。

Answer 1

我只能假設你的意思是解碼h.264視頻，然後從中獲取RGB（A）像素值。在這種情況下，您需要使用AVAssetReaderOutput類打開並解碼來自附加到Xcode項目的h.264資源的幀。如果您對軟件中的視頻處理不熟悉，請小心並確保您在開始之前真正瞭解自己在做什麼，因爲視頻處理中的內存使用非常令人震驚，並且如果您不完全瞭解有多少內存，則可能會導致iOS應用程序崩潰你正在一次分配。請看我在這個主題的博客文章video_and_memory_usage_on_ios_devices。你可以找到大量的代碼，但你基本上只需要創建資源，從中解碼幀，然後從解碼的CoreVideo像素緩衝區中讀取RGBA像素。請注意在CoreVideo像素緩衝區中出現行填充的情況，並且奇數尺寸會導致像素總數與sizeof（uint32_t）* width * height不匹配。