克隆呈現給窗口/屏幕上的圖像，用於處理

Question

背景

予有發展汽車控制系統的程序，它使用的TCL腳本語言和OpenGL的組合來附加地呈現行駛的汽車的行爲一條路。

我正在做的是實現OculusRift對它的支持，到目前爲止設法解決sesor部分，並右鍵單擊汽車駕駛的窗口，我可以將它發送到oculus裂谷。到目前爲止，它看起來像這樣：Youtube-Video

程序的可視部分有大量的已經功能包括瞭如調整FOV，魚眼鏡頭，攝像頭的方向，汽車內部視圖等

環視後選項軟件文件夾，我發現如下的TCL文件：

// ... cut here 

gl pushmatrix 
gl loadidentity 
gl translate $x $y $z 
gl rotate $xrot 1 0 0 
gl rotate $yrot 0 1 0 
gl rotate $zrot 0 0 1 
gl translate $offx $offy $offz 
lassign [lrange [OGL get modelviewmatrix] 12 14] tx ty tz 
gl popmatrix 


dict set ::View($view) CameraMode FixedToBodyA 
dict set ::View($view) xrot $xrot 
dict set ::View($view) yrot $yrot 
dict set ::View($view) zrot [expr $zrot + $zrot_eyeAngle] 
dict set ::View($view) dist $conf(dist) 
dict set ::View($view) VPtOffset_x $tx 
dict set ::View($view) VPtOffset_y $ty 
dict set ::View($view) VPtOffset_z $tz 
dict set ::View($view) FieldOfView $conf(fov) 
dict set ::View($view) AspectRatio $conf(AspectRatio) 

return; 
} 

我沒有發現，處理渲染本身，而是「GL」 - 命令就足以讓我明白，這TCL文件將被直接運行的任何行附加到渲染過程。所以我擴展了上面這樣的：

// load a self written DLL that wraps OVR functionality (Github link bellow) 

# now run tclovrGetData() from the loaded DLL to get sensor data 
set data [tclovrGetData] 
// data = x y z xrot yrot zrot 

gl pushmatrix 
gl loadidentity 
gl translate $x $y $z 
gl rotate $xrot 1 0 0 
... 

Github link to the DLL

正如你可以在視頻中看到，它看起來在監視器上不錯，但我們知道裂谷的鏡頭失真帶來的（這只是對我來說很輕微），還有一些色差。

我的想法

我要的是搶的是，在視頻「圖像/紋理/幀」屏幕上的每個10-20ms（我還是新來的術語），並做一些color-過濾（我想看看我是否可以減少色差）。然後或許（爲了使獨立）使用修改過的圖像創建一個新窗口並將其發送給Rift。基本上以所需的「格式」獲取圖像以便能夠對其執行計算。

我的想法是（因爲我們連接到渲染過程）添加一些額外的線路上面調用我的DLL中的附加功能，可以做以下TCL文件：

// Begin Oculus rendering loop 
//1. get frame that is currently being rendered (in this process) 
//2. copy this frame to memory 
//3. perform some operations (color filtering) on this frame in memory 
//4. send this frame to a new window 

現在我的問題：

• 會是這樣的事情嗎？
• 有人能指引我進入正確的方向嗎？即我可以使用一些gl函數？
• 也許Direct3D的工作原理？

我看過This職位上計算器，但無法理解：/

Answer 1

將這樣的可能嗎？

是的。但它可能不是最好的解決方案，因爲將數據複製回cpu內存並在那裏處理它可能對於實時應用程序來說不夠快。

難道有人指着我走向正確的方向嗎？即我可以使用一些gl函數？

如果你真的想這樣做，你首先必須渲染你的圖像幀緩衝區（或更好地說，附加到framebuffer紋理）。這個紋理然後可以通過你已經在相關文章（glGetTexImage）中找到的函數複製到cpu內存中。還有其他選項，如像素緩衝區，這可能是有點快(see here)

更快的解決方案

所有這些方法都需要你從GPU MEM的數據複製到CPU的紀念品，工藝也有和複製一切背部。這需要gpu和cpu之間的很多同步，並且另外處理cpu上的映像會很慢。

根據您可以使用的可用OpenGL功能，有方法可以在GPU上執行整個圖像處理。一個可能是最容易使用的着色器：

1. 渲染場景的幀緩衝
2. 繪製紋理四，其中來自 紋理（1），在片段着色器操作所有 必要的。

在這種方法中，也不需要第二個窗口，因爲後處理的四邊形可以顯示在第一個窗口中。有關GPU上的後處理的更多信息，您可以看看here。