新iPhone X前置攝像頭深度和臉部跟蹤網格API

Question

剛看過新的iPhone X公告，前置攝像頭的感應和跟蹤技術是否向開發者開放？一個Snapchat面罩被全世界展示在舞臺上，不知道這是否是使用ARKit

Answer 1

是的，它對開發者開放。

如果你現在看ARKit docs page，你會發現它被分成世界跟蹤和人臉跟蹤部分（加上兩個共同點）。世界追蹤是在WWDC上宣佈的 - 通過背景照相機在您周圍世界的AR內容中「穿過」您的設備。

臉部追蹤AR特定於iPhone X和TrueDepth相機。正如您在這些文檔中看到的那樣，它使用ARFaceTrackingConfiguration而不是其他配置類。它通過ARFaceAnchor對象爲您提供實時信息。

在臉部錨文檔中，它看起來像有兩種方法來獲取臉部信息。 geometry爲您提供了可以顯示的3D網格，或者用於將紋理映射到臉上 - 這大概是Snapchat演示用於在主題演示中製作摔跤蒙版的原因。 blendShapes會給你一些動畫參數，比如下顎張開多遠，左眼是多麼眯眼（還有大約50種其他更微妙的東西）......他們談論使用它來給木偶或頭像設置動畫，所以這就是可能Animoji是如何工作的。

蘋果也發佈了a sample code project showing how to do all of these，所以你可以看看代碼，得到一個想法如何自己做。 （即使沒有iPhone X也無法運行代碼）。

Answer 2

下面是使用iPhone上的X的TrueDepth相機爲例：https://developer.apple.com/documentation/arkit/creating_face_based_ar_experiences

和一個全新的會話：Face Tracking with ARKit #601

創建基於臉部的AR體驗

使用iPhone X上的TrueDepth相機在用戶的臉部之後放置和製作3D內容並與其面部表情匹配。

此示例應用程序提供了一個簡單的界面，允許您使用TrueDepth前置攝像頭在設備上選擇四個增強現實（AR）可視化（請參閱iOS設備兼容性參考）。

• 單獨的攝像頭視圖，沒有任何AR內容。
• ARKit提供的人臉網格，可自動估算真實世界的定向照明環境。
• 虛擬3D內容似乎附加到（並被用戶的真實臉部的部分遮擋）。
• 一個簡單的機器人角色，其面部表情動畫以匹配用戶的面部表情。

==>檢查題爲「對用戶的面部將3D內容」爲你的第二個用例的部分。