DeepFocus是Facebook的人工智能驅(qū)動的渲染器,據(jù)說它可以實時產(chǎn)生自然的模糊效果,是與變焦顯示器密切相關(guān)的技術(shù)。今天,F(xiàn)acebook宣布DeepFocus已經(jīng)開源。雖然該公司擁有大視場角的原型“Half Dome”可能是專有的,但他們的深度學(xué)習(xí)工具將是“硬件無關(guān)的”。
當(dāng)你在面前舉起手時,您的眼睛會自然地收斂,聚焦于手上。在今天的VR頭顯中,這種體驗并不相同,因為頭顯中的光源來自固定光源,你的眼睛需要聚焦于很近處才能看清近場圖像。這是變焦顯示和眼動追蹤要解決的問題,可以讓固定的焦距可以匹配人的眼睛變得可變,具體取決于你在任何給定時刻所注視的位置。
從本質(zhì)上講,這項技術(shù)可以讓你聚焦于物體,無論它們與你的距離如何,使整體體驗更加舒適和身臨其境。但是這里的缺失部分是頭顯并沒有復(fù)制自然的離焦模糊的能力,也就是當(dāng)你看著你的手時背景會變得模糊。
Facebook在SIGGRAPH Asia 2018 上發(fā)表的一份研究論文中表示,DeepFocus的靈感來自“越來越多的證據(jù)表明視網(wǎng)膜散焦模糊在推動調(diào)節(jié)反應(yīng)方面發(fā)揮的重要作用,以及對深度和物理現(xiàn)實的感知。”
與基于深度學(xué)習(xí)的圖像分析這種更傳統(tǒng)的AI系統(tǒng)不同,DeepFocus據(jù)說可以處理視覺效果,同時保持高質(zhì)量VR所需的超清晰圖像分辨率。
這意味著該系統(tǒng)不僅讓變焦VR頭顯與帶有光場顯示器的AR頭顯畫面看起來更逼真,還可以減輕與聚散度調(diào)節(jié)沖突相關(guān)的眼睛疲勞。
“該神經(jīng)網(wǎng)絡(luò)被證明可以僅使用常用的RGB-D圖像精確合成離焦模糊、焦點(diǎn)疊加、多層分解和多視圖圖像,讓許多支持調(diào)節(jié)功能的頭顯能夠?qū)崟r且接近完美的顯示視網(wǎng)膜的模糊效果”,F(xiàn)acebook研究人員說。
Facebook在一篇博客文章中稱,F(xiàn)acebook今天將發(fā)布DeepFocus源代碼和神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù),主要面向“開發(fā)新VR系統(tǒng)的工程師、視覺科學(xué)家以及其他研究感知的研究人員”。
Facebook Reality Labs首席科學(xué)家邁克爾·阿布拉什(Michael Abrash)在Oculus Connect 5上推出DeepFocus,雖然Half Dome和DeepFocus基本上“只是光學(xué)和顯示器技術(shù)革新的開端,但它是進(jìn)步加速的典范。”
來源:87870