迪士尼最新成果：給虛擬人物或者CG動(dòng)畫實(shí)時(shí)配音 迪士尼研究人員協(xié)同幾所大學(xué)研究院，發(fā)表最新論文，介紹了最新項(xiàng)研究成果：機(jī)器通過深度學(xué)習(xí)，模擬人類真實(shí)語言和口型與發(fā)音關(guān)系，實(shí)時(shí)為VR中的虛擬動(dòng)畫CG角色或者人物配音。 從視頻來看，不僅口型是基本吻合，而且聲音也是原裝的的。 從論文里提到的，研究人員闡述了這個(gè)“神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)”（neural network/ deep learning ）系統(tǒng)，同一位演講者通過8小時(shí)的講話訓(xùn)練共2543個(gè)句子，習(xí)得不同音節(jié)與口型之間的匹配，并且能夠?qū)⒉煌目谛团c發(fā)音實(shí)時(shí)對(duì)應(yīng)起來。 可以從迪士尼發(fā)布的新視頻看到，通過訓(xùn)練，這套系統(tǒng)是來自不同人說的不同語種的語言（中文那個(gè)有驚喜）這套系統(tǒng)可以分析，可以自動(dòng)匹配好相應(yīng)的口型。并且可以自動(dòng)關(guān)聯(lián)到虛擬人物或者動(dòng)畫的面部動(dòng)作。 從迪士尼演示視頻中介紹可以看出，通過系統(tǒng)深入學(xué)習(xí)的具有以下幾個(gè)很具吸引力的特性：運(yùn)行比較實(shí)時(shí)，需要極少數(shù)修正參數(shù)，輕松調(diào)整語言邏輯性，變于編輯，創(chuàng)建帶有個(gè)性化情感的語言，與現(xiàn)有的動(dòng)畫重定向方式兼容。 目前給動(dòng)畫片的CG角色配音都是由熟練的動(dòng)畫師手工完成技術(shù)熟練。此前如我們介紹過奧斯卡今年最佳的視效提名影片、例如在迪士尼的《奇幻森林》中，為猩猩王Louie的配音都是老戲骨Christopher Walken（蝙蝠俠、斷頭谷等，1978年奧獎(jiǎng)最佳男配）他們是大家非常熟悉的。大多數(shù)的觀眾會(huì)覺得他的樣貌特征會(huì)有一種與Louie合體的感覺，這也是團(tuán)隊(duì)的杰作凸顯這部影片的特效——把為動(dòng)物角色配音的明星們的動(dòng)物角色融與面貌特征合在一起，創(chuàng)建屬于CG明星“動(dòng)物形象。例如老比爾·莫瑞是為那只熊配音的。但是這樣需要付出的代價(jià)（技術(shù)、資源和預(yù)算）都是超高的，否則也不會(huì)贏得奧斯卡提名。這對(duì)于好萊塢高票房回饋的最好禮物，但更大范圍的應(yīng)用和普及就不能指望用得起特效團(tuán)隊(duì)了。 迪士尼的這套最新機(jī)器神經(jīng)系統(tǒng)，雖然暫時(shí)還無法實(shí)現(xiàn)大銀幕上那種，角色表情與配音合二為一的清晰逼真效果。但是它的實(shí)時(shí)配音和自動(dòng)合成還是在很多場合都有很實(shí)際的應(yīng)用。比如大型角色扮演的沒錢請(qǐng)動(dòng)畫師手工制作、受時(shí)效性限制（直播）的或者游戲直播項(xiàng)目等。 目前在VR里，這個(gè)系統(tǒng)可以為用戶的虛擬形象實(shí)時(shí)配音。不僅可以保持現(xiàn)實(shí)中的口型，甚至還有聲音。這似乎解決了目前現(xiàn)實(shí)角色與VR社交中虛擬阿凡達(dá)“同步開口”的問題。雖然面部動(dòng)作捕捉技術(shù)實(shí)際上是跟蹤口型最準(zhǔn)確的方式，但就目前的情形看，這一技術(shù)想要普遍進(jìn)入市場應(yīng)用仍然需要一個(gè)較長的時(shí)間，在此之前，迪士尼的機(jī)器神經(jīng)系統(tǒng)還是能頂上用場的。 其中一方面，這個(gè)系統(tǒng)其實(shí)對(duì)于動(dòng)畫和VR內(nèi)容的創(chuàng)作、甚至社交平臺(tái)上的應(yīng)用都是很吸引人的，即使不能用在大銀幕上。 誰將獲得89屆奧斯卡最佳視效獎(jiǎng)5部特效巨制? 目前迪士尼最新混合現(xiàn)實(shí)技術(shù)：CG電影角色互動(dòng)的直接無需頭盔手控。 通過實(shí)戰(zhàn)經(jīng)驗(yàn)：VR交互設(shè)計(jì)由迪士尼設(shè)計(jì)師親自教你。

免責(zé)聲明： 以上整理自互聯(lián)網(wǎng)，與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。（我們重在分享，尊重原創(chuàng)，如有侵權(quán)請(qǐng)聯(lián)系在線客服在24小時(shí)內(nèi)刪除）

聯(lián)系客服 立即下單