圖片來源：pixabay

靜物畫家知道，為了讓畫中的物體看起來更加寫實(shí)，必須考慮光在物體表面的反射。反射圖像的顏色、位置和亮度，受物體周圍環(huán)境的影響，而這意味著其能反過來反映物體周圍環(huán)境的關(guān)鍵信息。科學(xué)家發(fā)現(xiàn)，通過拍攝反光物體的簡(jiǎn)短視頻片段，就可以利用其表面反射的光來復(fù)現(xiàn)其周圍環(huán)境的大致畫面。無論是碗、易拉罐還是一個(gè)皺巴巴的薯片包裝袋，其結(jié)果都十分準(zhǔn)確。

用來復(fù)現(xiàn)環(huán)境的數(shù)學(xué)模型也能夠近似估計(jì)如果將一個(gè)已知的物體放置在新環(huán)境中或者從一個(gè)新的角度來看時(shí)，光會(huì)在其表面如何反射，以及最終物體會(huì)呈現(xiàn)什么外觀。這兩種不同的應(yīng)用是互相關(guān)聯(lián)的，“我們研究的挑戰(zhàn)在于這兩者是相互交纏的，你需要解決光問題，以得到精確的外觀；你也需要有精確的外觀模型，以獲得正確的光。解決該挑戰(zhàn)的方法可能是將這兩者統(tǒng)籌考慮——正如我們所做的那樣?！盝eong Joon Park說道，他是華盛頓大學(xué)圖形與成像實(shí)驗(yàn)室(GRAIL)的博士生。

今年早些時(shí)候，Park的研究團(tuán)隊(duì)在arXiv.org網(wǎng)站上發(fā)布了他們研究的預(yù)印本，該論文也被邀請(qǐng)?jiān)谙乱荒甑腎EEE計(jì)算機(jī)視覺和模式識(shí)別會(huì)議（IEEE Conference on Computer Vision and Pattern Recognition）以報(bào)告展示，此會(huì)議將于6月份遠(yuǎn)程舉行。

Park說這項(xiàng)新技術(shù)可以幫助設(shè)計(jì)師建造更真實(shí)的增強(qiáng)和虛擬現(xiàn)實(shí)場(chǎng)景。例如，在Zoom視頻通話中，許多用戶使用的虛擬背景的光線與用戶實(shí)際的光照條件是不匹配的。環(huán)境復(fù)現(xiàn)技術(shù)可以修正這些背景，使用戶真實(shí)的面部與虛擬的環(huán)境更加匹配。

兩張圖片顯示的是同一個(gè)房間：一張是根據(jù)房間內(nèi)一個(gè)薯片包裝袋的視頻片段復(fù)現(xiàn)的(上)，另一張是直接拍攝的(下)。圖片來源：Jeong Joon Park

又例如，一款增強(qiáng)現(xiàn)實(shí)的應(yīng)用程序可能很難準(zhǔn)確描繪出一件家具在用戶的客廳里會(huì)是什么樣子，此程序可能會(huì)讓它看起來更像一個(gè)卡通插畫，而不是一件實(shí)體物。Park說他團(tuán)隊(duì)的模型能夠讓物體看起來就像真的在這個(gè)房間一樣，“你必須評(píng)估周圍的環(huán)境來合理照亮虛擬物體，光線越精確，虛擬物體看起來就會(huì)越真實(shí)。”

這項(xiàng)技術(shù)也可應(yīng)用于虛擬現(xiàn)實(shí)。在虛擬現(xiàn)實(shí)場(chǎng)景中，用戶可能會(huì)戴著頭盔在虛擬場(chǎng)景中走來走去，或者“拿起”一個(gè)數(shù)碼產(chǎn)品在手中擺弄。當(dāng)他們這樣做時(shí)，因?yàn)橹車饩€條件的改變，所見物的樣子也會(huì)隨之發(fā)生改變——正如在現(xiàn)實(shí)世界中那樣。Park說他團(tuán)隊(duì)的系統(tǒng)可以計(jì)算光線的特征來“給你一種任何視角都非常真實(shí)的體驗(yàn)感。”

這個(gè)過程叫做視圖重構(gòu)（view reconstruction），或新視圖合成（novel view synthesis）?？笨死郀柎髮W(xué)電子和計(jì)算機(jī)工程的副教授Jean-Fran?ois Lalonde（他并沒有參與Park團(tuán)隊(duì)的最新技術(shù)研究。）說：“Park的團(tuán)隊(duì)正試圖用一種新方法來合成或生成一個(gè)全新視角的物體圖像，即你從不同的角度觀察一個(gè)特定的物體，然后想知道從一個(gè)全新的角度來看時(shí)物體的樣子。以前的研究用兩種不同的技術(shù)來解決這個(gè)問題。最早是利用物體的幾何形狀和物理定律來計(jì)算光線和顏色如何隨著視角的變化而變化。然后，在大約兩三年前，我們采用另一套方法提出一種不同的建模方式，使用深度學(xué)習(xí)算法來記憶一個(gè)物體的樣子，并預(yù)測(cè)它的外觀在不同的視角下會(huì)發(fā)生什么變化?！?/p>

這項(xiàng)新的技術(shù)將之前的兩種技術(shù)結(jié)合起來，能讓科學(xué)家“同時(shí)利用物理推理和深度學(xué)習(xí)帶來的統(tǒng)計(jì)推理的力量。他們?cè)谏疃葘W(xué)習(xí)過程中加入了更多的物理推理過程，所以能夠獲得更高質(zhì)量的結(jié)果。” Lalonde說道。

Park和他的同事用視圖合成的方法來復(fù)現(xiàn)周圍環(huán)境，以測(cè)試這種新技術(shù)。他們用攝像機(jī)拍攝了各種物品：前面提到的薯片袋、易拉罐、陶瓷碗，甚至還有一尊貓雕像，然后利用其反射光，結(jié)合模型復(fù)現(xiàn)周圍的環(huán)境。測(cè)試結(jié)果和實(shí)際環(huán)境十分吻合，且鏡面狀的物體產(chǎn)生的結(jié)果更為精確?！捌鸪?，我們十分驚奇，因?yàn)橐恍?fù)現(xiàn)的環(huán)境的細(xì)節(jié)甚至是我們通過肉眼無法識(shí)別的?！盤ark說道。

另外，他也承認(rèn)該技術(shù)有一個(gè)顯著的缺點(diǎn)：一張普通的照片可能會(huì)轉(zhuǎn)化為侵犯隱私的工具。如果科學(xué)家能夠根據(jù)反射精確地復(fù)現(xiàn)周圍的環(huán)境，那么任何含有反光物體的照片都可能在不經(jīng)意間揭露更多的信息。Park建議，隨著技術(shù)的不斷改進(jìn)，開發(fā)者應(yīng)該謹(jǐn)記這個(gè)問題，并積極防范隱私泄露。

然而，他也強(qiáng)調(diào)目前復(fù)現(xiàn)的圖像還不是很清楚，“我希望未來的研究能夠基于現(xiàn)有的工作基礎(chǔ)來提高復(fù)現(xiàn)環(huán)境和場(chǎng)景的質(zhì)量。我的長(zhǎng)期目標(biāo)是復(fù)現(xiàn)現(xiàn)實(shí)世界，不僅包括良好的視覺效果，還包括能夠與虛擬環(huán)境進(jìn)行互動(dòng)?！?/p>

作者：Sophie Bushwick

翻譯：謝宛岑

審校：馬一瑗

引進(jìn)來源：

引進(jìn)鏈接https://www.scientificamerican.com/article/a-shiny-snack-bags-reflections-can-reconstruct-the-room-around-it/


關(guān)注【深圳科普】微信公眾號(hào)，在對(duì)話框：
回復(fù)【最新活動(dòng)】，了解近期科普活動(dòng)
回復(fù)【科普行】，了解最新深圳科普行活動(dòng)
回復(fù)【研學(xué)營(yíng)】，了解最新科普研學(xué)營(yíng)
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【科普書籍】，了解最新科普書籍
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動(dòng)
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【觀鳥知識(shí)】，學(xué)習(xí)觀鳥相關(guān)科普知識(shí)
回復(fù)【博物學(xué)院】，了解更多博物學(xué)院活動(dòng)詳情
?