騰訊《一線》卜祥
7月3日,曠視科技發(fā)布消息,稱OPPO Find X手機(jī)上的人臉識別應(yīng)用由OPPO研究院上海軟件研究中心AI實(shí)驗(yàn)室與曠視科技Face++聯(lián)合研發(fā),海外版和國行版的 OPPO Find X 都具備了毫秒極速解鎖和百萬分之一精度的安全支付功能。
為了讓手機(jī)像人一樣獲得三維立體的圖像信息,手機(jī)廠商們接連推出了雙攝方案,雖然雙目攝像頭能夠依據(jù)視差原理形成三維圖像,但是受制于光線和紋理等拍攝環(huán)境因素,雙攝產(chǎn)生的三維圖像差強(qiáng)人意,更無法滿足3D驗(yàn)真環(huán)節(jié)的應(yīng)用要求,所以采用主動投射編碼光獲取3D信息的結(jié)構(gòu)光技術(shù)成為智能手機(jī)革新的關(guān)鍵一環(huán)。
在應(yīng)用中,3D結(jié)構(gòu)光的整個(gè)系統(tǒng)包含結(jié)構(gòu)光投影設(shè)備、攝像機(jī)、圖像采集和處理系統(tǒng)。通過投影設(shè)備的發(fā)射光線到被測物體上,攝像機(jī)拍攝在被測物體上形成的三維光圖形,拍攝圖像經(jīng)采集處理系統(tǒng)處理后便能夠獲得被測物體表面數(shù)據(jù)形成三維的圖像信息。簡單來講3D結(jié)構(gòu)光的實(shí)現(xiàn)原理類似于海底探測的聲吶系統(tǒng)是通過反射信息來確定深度的,只不過3D結(jié)構(gòu)光在手機(jī)人臉識別上的應(yīng)用,是通過人臉表現(xiàn)反射光線來確定深度信息的。 相比雙目來說,其效果在同樣的場景下能夠得到更完整、更細(xì)膩的深度圖。
今年5月10日的一次媒體見面會中,OPPO 就曾向大眾演示了全球首個(gè)基于 3D 結(jié)構(gòu)光技術(shù)的 5G 視頻通話,并宣布 OPPO 的3D結(jié)構(gòu)光技術(shù)已經(jīng)具備量產(chǎn)條件。而今天,OPPO Find X 的全面問世不僅兌現(xiàn)了 OPPO 承諾,更徹底打破了安卓陣營結(jié)構(gòu)光技術(shù)短板的局面,這項(xiàng)技術(shù)自此再也不是 iPhone X 的專屬功能。
相比傳統(tǒng)人臉識別,OPPO Find X 的 3D結(jié)構(gòu)光技術(shù)可應(yīng)用于安全支付、三維重建、AR、游戲等眾多場景,其中最重要的應(yīng)用是便是安全支付,這便要求3D結(jié)構(gòu)光人臉識別算法具備極高的技術(shù)水準(zhǔn),并做到嚴(yán)格的質(zhì)量控制。
OPPO官方介紹,在 Find X 可升降的雙軌潛望結(jié)構(gòu)中安裝了泛光感應(yīng)元件(Flood illuminator),紅外攝像頭(infrared camera)、測距傳感器(ranging sensor)、點(diǎn)陣投影器(dot projecter),采用 3D 結(jié)構(gòu)光技術(shù),通過向人臉投射 15,000 個(gè)光點(diǎn),給用戶的面部構(gòu)建立毫米級精度的 3D 深度圖,實(shí)現(xiàn)更為精確地識別用戶的生物特征,并快速與主人信息進(jìn)行比對,實(shí)現(xiàn)了免接觸、更安全的解鎖。
“世界上60%的攝像頭是用在手機(jī)上面的?!睍缫暱萍荚剖聵I(yè)部高級副總裁吳文昊表示,“短期來看,曠視的首要任務(wù)就是賦能全球十億攝像頭,所以手機(jī)市場一定是主戰(zhàn)場?!?017年中,曠視科技開始布局手機(jī)市場,隨后基于核心的深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)一舉推出人臉支付、人臉識別解鎖、人像光效、人像背景虛化、視頻美化、3D Animoji等一系列移動端AI產(chǎn)品,以滿足不同手機(jī)廠商在人臉解鎖、圖像增強(qiáng)、相機(jī)增強(qiáng)、智能圖像和視頻處理上的需求。
為了滿足OPPO極致的產(chǎn)品需求,曠視科技手機(jī)解鎖團(tuán)隊(duì)攻關(guān)數(shù)月,完成了逾十億張人臉數(shù)據(jù)的訓(xùn)練和 60 萬張 benchmark 測試,最終實(shí)現(xiàn)了0.1秒內(nèi)極速識別、0.03秒重建,和誤識率低于百萬分之一的高精度安全面部識別。
搭載曠視科技3D結(jié)構(gòu)光人臉識別方案的 OPPO Find X 可通過前置的 RGB、紅外和結(jié)構(gòu)光攝像頭同時(shí)采集到人臉的色彩圖片、紅外圖片和 3D 信息,并快速從輸入的人臉紅外特征信息與深度信息中提取個(gè)人的安全識別特征,安全特征具有10000+維度信息,算法會將提取的安全信息與錄入時(shí)安全信息進(jìn)行匹配決定是否安全認(rèn)證通過。
在體驗(yàn)上,無論是錄入還是解鎖都在頃刻間完成,甚至在暗光環(huán)境下也幾乎不受影響,解鎖效率相比現(xiàn)在的人臉識別大大提升。而在安全性上,曠視給出的 3D 結(jié)構(gòu)光人臉識別方案無論是在解鎖還是在支付應(yīng)用中都可以有效抵御照片、視頻甚至定制化硅膠面具和 3D 打印面具等形式的攻擊。
拿到OPPO 大單只是曠視科技人臉識別技術(shù)應(yīng)用的一部分,這家公司還做了人臉識別另一種方案,就是和結(jié)構(gòu)光競爭的TOF方案。
在剛結(jié)束的上海MWC上,vivo手機(jī)公司展示了TOF技術(shù),據(jù)騰訊《一線》了解,這項(xiàng)技術(shù)也由曠視提供支持。
vivo 在2018 MWC 上海發(fā)布了 TOF 3D 超感應(yīng)技術(shù)。在現(xiàn)場,用戶只需要站上 vivo 的體驗(yàn)機(jī),搖臂上搭載了 TOF 3D 超感應(yīng)技術(shù)的原型機(jī)就會對用戶的頭部進(jìn)行環(huán)形掃描,錄入之后很快就會形成一個(gè)高精度的 3D 人臉模型,輪廓和細(xì)節(jié)的把控都十分出色,用戶還可以拖動模型查看任一角度的自己。
除了3D建模,曠視(Face++ )與 vivo 在這一次的 MWC 中推出了一整套移動端 3D 創(chuàng)新產(chǎn)品,并首次在業(yè)內(nèi)實(shí)現(xiàn)依托于(TOF)3D 攝像頭方案的安全支付、3D 美顏、3D 整形和 3D 光效等應(yīng)用。
iPhone X 的 3D 結(jié)構(gòu)光可感應(yīng) 3 萬個(gè)有效深度信息點(diǎn),vivo TOF 則是 30 萬個(gè),因此它能構(gòu)建更清晰、細(xì)節(jié)更豐富的 3D 立體圖像;
vivo TOF 的識別距離更遠(yuǎn),可達(dá)到 3 米。
最重要的一點(diǎn),由于 vivo TOF 模組的 baseline(基線,可簡單理解為發(fā)射器和接收器的距離)近乎為零,因此模組體積更小,相比 3D 結(jié)構(gòu)光的 25mm 小太多了。
在 3D 支付產(chǎn)品的開發(fā)中,vivo 手機(jī)在曠視三個(gè)核心算法模型結(jié)構(gòu)加持下,可實(shí)現(xiàn) 0.1s 內(nèi)極速識別,0.03s 重建和達(dá)百萬分之一的支付精度,包括多尺度多特征的注意力檢測模型,可自適應(yīng)網(wǎng)絡(luò)、多模型融合的識別方案,以及基于業(yè)界開創(chuàng)性的移動卷積神經(jīng)網(wǎng)絡(luò) ShuffleNet 定制開發(fā)的活體檢測模型。有了這項(xiàng)技術(shù),vivo 用戶將可以用人臉替代指紋、密碼或 PIN 碼作為移動支付的主要驗(yàn)證方式。
曠視認(rèn)為真正的AI加3D時(shí)代剛剛開始。