 |
索尼計算機娛樂（SCE）在2011年9月6日開始舉行的“CEDEC 2011”上，介紹了該公司面部圖像識別庫“libface”在游戲中的應用。該公司近幾年一直在CEDEC上介紹libface的利用方法等，而今年介紹了更加實用的內容。
索尼的面部識別技術以該公司以前從事的個人機器人用面部識別技術為基礎。現在已應用于數碼相機等各種產品中，其中，libface是將該面部識別技術移植到PlayStation 3上而成。充分利用用Cell/B.E.的SPU的SIMD指令等，針對Cell作了優化。能夠獲取臉的位置、大小，傾斜度、面部部位（眼、鼻、口、輪廓）、各種屬性（性別、年齡、有無眼鏡、眼睜開的程度）以及笑臉表情等信息。
以時序濾波器降低噪聲，實現平滑化
此次，SCE介紹了面部識別結果的參數在時間序列上的穩定化和平滑化。應用實例是由用戶面部動作來操作CG上的人物形象（用戶替身）。
不僅是libface，一般在對每幀動畫圖像直接應用面部圖像的檢測算法時，識別結果的時序參數無論如何都會產生小幅振動、噪聲（重影）、誤識別引起的數值突變（跳動）。SCE推薦利用時序濾波器來抑制這些重影和跳動。
只是，濾波器的特性需要依識別部位調整。例如，有像搖頭那樣動作連續且過渡自然的動作，也有像眨眼那樣有閉眼和睜眼的離散且可明確區分，沒有過渡狀態看起來更為自然的動作。因此，根據眼睛的睜開程度對眨眼進行了閾值處理。
還需要考慮識別結果的幀率。普通游戲的CG描繪處理為60幀/秒，但在某些硬件環境下，圖像識別低于該速度，只能達到約10幀/秒左右。因此，如果將面部識別結果的參數直接反映到60幀/秒的人物繪圖中，動作就會不連貫。針對這種情況，SCE推薦使用卷積濾波器（卷積運算）。
如果將卷積濾波器應用于時序數據，輸出盡管會變得順暢，但會發生與接頭數量相應的延遲。合適的接頭數量因用途而異，但此次演講中，SCE介紹了8個接頭的實例。
以PS Vita擴大面部識別技術的應用領域
libface現在已由PS3賽車游戲“GRAN TURISMO 5（GT5）”等多種游戲采用（參閱本站報道）。雖然目前數量還不是很多，但“在幾個月內，可能還會由幾款海外市場的游戲采用”（SCE半導體系統開發部的小口貴弘）。
為利用面部識別技術，PS3需要另配攝像頭，而Play Station Portabl（PSP）的后續機型“PlayStation Vita”則標配有攝像頭。因此“今后以PS Vita為主也便于采用面部識別技術”（SCE的小口貴弘）。
CPU負荷較輕，但占用內存
此次，開發GT5的Polyphony Digital公司的內村創也作了演講。在GT5中，可相應于面部朝向改變游戲畫面的攝像頭角度（參閱本站報道）。支持想在比賽中確認旁邊車輛等要求，但游戲手柄已被油門及離合器等很多功能占滿，沒有多余空間，因此才決定采用面部識別技術（libface）。
據內村介紹，libface的CPU負荷比較低。但內存占用量比較大，因此不能在所有情況下使用面部識別功能。在比賽中可以使用面部識別功能，但進入汽車檢修坑場景時，因內存占用的關系，而關閉了面部識別功能。
還將支持照明條件及與追蹤功能并用
最后，關于libface今后的動向，SCE表示其將支持照明條件等環境差異。為了在暗處、逆光及側光等不同照明條件下穩定識別，將采用環境光濾波器。具體是在識別面部圖像之前，作為預處理而插入亮度轉換濾波器，將其轉換成正常圖像。濾波器系數將通過校準自動選擇面部檢測分數最高的。另外，還將把眼、鼻、口等面部部位的追蹤功能與面部檢測并用，使識別更加穩定。
