Intel RealSense D435i(實感技術)概覽，本文對Intel RealSense D435i 3D麵部和動作捕捉功能做簡要介紹

前段時間CES的報道滿（mǎn）天飛，網上逛了幾圈，感覺料猛的（de）還數Intel：老樹開新花，推出14nm的第五代酷（kù）睿處理器；在智能可穿戴設備及物（wù）聯網上雄起；RealSense實感技術開啟未（wèi）來人機交互模式。之前總聽老哥講，鼠標鍵盤（pán）這些傳統交互（hù）模式統治了二三十年，目前跟蹤識別爆火且技（jì）術（shù）趨（qū）於成熟，新的交互革命（mìng）快要打響了。看RealSense這陣勢，估（gū）計不出三（sān）五年（nián）新的交互便會普及開來。

英特爾早在2012年左右就著重研發實感技（jì）術，當時叫Perceptual Computing，即感知計算，並開放英特爾® 感（gǎn）知計算軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因（yīn）特爾感知計算挑戰賽，吸引眾多開發者參（cān）與。隨著技術完善與成熟，2014年初更名為（wéi）RealSense，即實感技術，而後發布了新的Intel® RealSense™ SDK 2014 ，同時舉行2014英特爾®RealSense™應（yīng）用挑（tiāo）戰賽。

基於此技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架（jià）構：SDK core,I/O module和Capability modules組成整個SDK堆棧的基礎。SDK core管理I/O module和（hé）Capability modules同時（shí）組織並管理管線的執（zhí）行。I/O module捕（bǔ）獲設備的輸入（rù）數據而後發送數（shù）據到輸出設（shè）備或Capability modules。Capability modules也叫algorithm modules，主要包（bāo）括各（gè）種模式檢測和（hé）識別算法（麵部跟蹤和檢測、手部跟（gēn）蹤、手勢識別、語音識（shí）別及合（hé）成等）。

各功能：手部和手（shǒu）指跟蹤、麵部分析、語音識別、背景移除、目標跟蹤、增強現實、3D掃（sǎo）描。

1. 手

SDK將（jiāng）手抽象出骨架，並從背景中（zhōng）剝離出來。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個（gè）點的位置和方向，如圖。左右（yòu）手是區分的（de），因而可以雙手進行交互（hù）。

手勢識別：包括靜（jìng）態手勢識別和動態手勢識別。SDK中內嵌了一係列手勢（shì）如下圖。你可以用內嵌的這些手勢（shì）組合出新的手勢，也可以根據手骨架上那22個點位置創建出新的手勢。

動態手勢識別：靜態手勢可以單獨使用，當然也可以組合使用形成一定的動作。組合時要求開始的手勢和結束的手勢都已在手勢識別係統中（zhōng）注冊。

SDK給出了一係列動作如下：

2．臉

臉部檢測：SDK提供準確的3D臉部檢測和跟蹤，且可以同時跟蹤4張人臉。每張人臉用長方（fāng）形來（lái）標記，你可以獲（huò）得（dé）長方（fāng）形的XYZ坐（zuò）標。與2D跟蹤相比，3D頭部跟蹤在頭部運動（dòng）方麵（miàn）更給力。

臉部識別：SDK提供識別特定人臉的能力。特定ID對應注冊的特定人（rén）臉，並將此人臉的信息存儲到人臉（liǎn）庫的內存中。如果同張人臉被注冊（cè）多（duō）次，那（nà）這張人臉被正確識別的機會將（jiāng）會增大。當沒被識別的人臉出現時，識別模塊將與數據庫中的可能（néng）數據進行比（bǐ）對，如（rú）果找到匹配（pèi）則返回此人（rén）臉對應的ID。

用戶不用擔心（xīn）自己的頭像被存儲，因為存（cún）儲的隻是算法從（cóng）圖像中提取的特征的集合。

頭的運動：SDK提供頭部運動的3D方向：俯仰、左右轉動、左右偏轉，如圖。

所以可以輕鬆獲得用戶頭（tóu）部指向哪（nǎ）裏。也可以以此做粗略（luè）的（de）眼神跟（gēn）蹤，下一版（bǎn）將會推出更精細的（de）眼神跟蹤。

標記點跟（gēn）蹤：SDK提供臉部78個標記點（diǎn）的跟蹤以提高（gāo）臉部識（shí）別和（hé）分析的準（zhǔn）確度。在圖像和坐標係中給出這78個標記點的位置。臉部標記點跟蹤支持頭像創建、臉部動畫、擬態及簡單的（de）表情識別。可以直接用這些點（diǎn）或這（zhè）些點的相對位置來作分析。不管你有（yǒu）沒有（yǒu）劉海、戴不戴眼鏡，這種（zhǒng）標記點跟蹤（zōng）都支持。但用戶頭部在屏幕30度內效果*好。

麵部表情識別：SDK也（yě）包括更高級（jí）的麵部表情識別。這使得你創建卡（kǎ）通（tōng）頭像更簡單。每一（yī）種表情有1到100的強度等級使得你（nǐ）做的動畫更平滑（huá）自然。SDK中表情：

情感識別：SDK中的（de）情感識別算法用的是2D RGB數據。情感模塊（kuài）是獨立的模塊，並非臉部模塊的一部分。為保障情感識別正（zhèng）常工作（zuò），圖像中的人臉至少要有48×48個像（xiàng）素。此算（suàn）法並不局限於RGB數據，灰度數據同樣可行。利用SDK，你（nǐ）可以檢（jiǎn）測（cè）並估計以（yǐ）下六種原始情感的強度。

頭像控製：SDK通過結合麵部表情（qíng）及78個標記點提供簡單（dān）的頭像控製功能。SDK提供動畫角色的示例代（dài）碼，使你的（de）應用可以適應任何臉（liǎn）型並把用戶頭像動畫化。

應用場景：

3. 語音

主要包括語音命令和控製、聽寫、從（cóng）文字轉譯成語音等功能。隻支持英語，語音識別對（duì）成年人效果*好。

語音識別：分為命令（lìng）模式和聽寫模式。命令模式需提前設定命令列表，特定命令綁定特定動作。聽寫模式內置了一個（gè）通用的詞典，包（bāo）括50k個常用單詞。如果你覺得不夠用，也可以自己添加詞典中沒有的單詞。聽（tīng）寫模式限時30秒。命令和聽寫（xiě）模（mó）式不可同時（shí）開啟。

語音分析：SDK也可以根據文本動態的生成（chéng）語音，由女聲讀出。

4. 背景移除

可以實（shí）時的（de）移除背景並（bìng）替換成新的背景。

應用場（chǎng）景：

5. 目標跟蹤

Metaio*3D目（mù）標跟蹤模塊提供基於光學的跟蹤技術，可以跟蹤視（shì）頻序列或（huò）場（chǎng）景中的目標物（wù）。Metaio工具箱（xiāng）可以訓練、創建並編輯3D模型，這些模型可以傳給各（gè）種目標檢測及跟蹤算法。

跟蹤技術（shù）支持平麵的2D目標跟蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤（zōng）。

6. 增強現實

用音頻、視頻、圖像或其他信（xìn）息來添加、增強或補充英特爾實感技術遊戲的內容。

7. 三維掃描和打印

可以掃描、編輯、打印（yìn）和分享（xiǎng）三維（wéi）物體，並（bìng）與 3D Systems展開合作。

目前因（yīn）特爾已經與（yǔ）騰訊合作創立遊戲創新（xīn）實驗室，推進實（shí）感技術，並打造了《軒轅傳奇》。與京東合作建立“京東（dōng）因（yīn）特爾聯合創新實驗室（shì）”，推出虛擬試（shì）衣、3D物品展示等，使實感技術（shù）落地電商平台（tái）。同時因特爾自（zì）己也在（zài）不斷推出自己的實感技術產品。這不前兩天在北京（jīng）推出其全新的第五代酷睿處理器家（jiā）族，搭（dā）載此處理器的多款產品還配備了英特（tè）爾實感（gǎn）技術，看來（lái）這項技術很快就會遍地開花。

隻要你的（de）處理（lǐ）器是第四代及四代以後英特（tè）爾® 酷睿™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝像（xiàng）頭就可以下載SDK玩起來。估計不久聯想、戴爾、華碩、宏基、惠普等等搭載第五代酷睿處理器並內嵌因特爾3D攝像頭的超很本、二合一（yī）及一（yī）體機設備（bèi）就會上市，那時玩起來會更爽。

資料（liào）來源：RealSenseSDKdesignGuidelinesGold

補充一點自己的實際體（tǐ）會：

1.基於結構（gòu）光方案的深度相機，受光線影響很大，下午太陽光照進來，深度（dù）數據殘缺嚴重，這個就是所謂的激光散斑受強光淹沒掉了。

2.手勢識（shí）別中，靜態手勢，手型識別效果不錯。同時，對著深（shēn）度相機（jī）方向的手勢運動，識別效果也不錯。但左右方向的運動手勢，效（xiào）果很差。主要是視場角小，深度數據（jù）殘缺嚴重。

3.SDK可支持多個設備同時鏈接 。采用一台設備，一個線程來管理維護。線程內部，SDK所有功能都支（zhī）持。也（yě）就是多個設（shè）備互不影響。

4.手（shǒu）勢，采用（yòng）22點骨架模型。大致的手型是可以捕捉的， 但是容易受到環境光影響，在準確獲取手部動作時還是考慮使用專業的數（shù）據手（shǒu）套設備，比如WONGLOVE數據手套。

5.手勢（shì）識別，在20~55cm範圍內可用。其實（shí），整體來看，隻能（néng）是小（xiǎo）範圍運動情況了（le）。