推薦閱讀：

聚焦“數(shù)字主持人”|對(duì)話SMG虛擬新聞主播“申?雅”設(shè)計(jì)者與平臺(tái)方

聚焦“數(shù)字主持人”|對(duì)話浙江廣電數(shù)字主持人谷小雨的設(shè)計(jì)運(yùn)營(yíng)方

(資料圖片僅供參考)

虛擬數(shù)字人已在廣電視聽多領(lǐng)域嶄露頭角。扎實(shí)推進(jìn)媒體深度融合，新賽道下，“數(shù)字主持人”應(yīng)用場(chǎng)景還有哪些可能？又會(huì)為行業(yè)帶來怎樣的變革？

聚焦數(shù)字化轉(zhuǎn)型以及媒體智能化發(fā)展，推出特別策劃，聚焦“數(shù)字主持人”。本文通過詳解河北廣播電視臺(tái)（集團(tuán)）“冀小佳”的形象設(shè)計(jì)、動(dòng)作捕捉等，還原數(shù)字主持人的誕生全記錄。

河北廣播電視臺(tái)（集團(tuán)）的電視制作中心于2022年4月開始啟動(dòng)數(shù)字虛擬主播的研發(fā)任務(wù)，10月正式投入使用。

其間，河北廣電通過堅(jiān)持自主研發(fā)，參考大量國(guó)內(nèi)外其他平臺(tái)的節(jié)目形式及虛擬形象，完成了團(tuán)隊(duì)由傳統(tǒng)電視包裝制作到數(shù)字人制作的業(yè)務(wù)轉(zhuǎn)型。

“卡通形象+寫實(shí)形象”的摸索

設(shè)計(jì)初期，團(tuán)隊(duì)確定了卡通和寫實(shí)兩種風(fēng)格，卡通風(fēng)格主要以DAZ結(jié)合Zbrush和虛幻引擎來實(shí)現(xiàn)，寫實(shí)風(fēng)格則借助于三維掃描技術(shù)及數(shù)字人創(chuàng)建器來實(shí)現(xiàn)。

團(tuán)隊(duì)最先設(shè)計(jì)了“冀小佳”的卡通形象，服裝直接綁定身體，毛發(fā)為面片形式，設(shè)計(jì)人員為此出了大量的設(shè)計(jì)線稿和三視圖。

根據(jù)應(yīng)用場(chǎng)景與角色定位，早期的主播形象整體風(fēng)格偏年輕化、卡通化。

寫實(shí)形象主要采用三維掃描技術(shù)獲取面部模型，將模型在zbrush里做適當(dāng)?shù)牡窨烫幚?，再進(jìn)數(shù)字人創(chuàng)建器生成角色，角色服裝采用MD進(jìn)行制作，毛發(fā)則使用xgen進(jìn)行制作。

通過一系列摸索與調(diào)整，團(tuán)隊(duì)產(chǎn)出了三個(gè)虛擬形象。第一個(gè)是已經(jīng)投入使用的“冀小佳”，在10期《跟著鳥兒游河北》《臺(tái)媒體推介會(huì)》《深圳文博會(huì)宣傳片》中出鏡播報(bào)。

第二個(gè)角色為臺(tái)新聞主播李耀陽的數(shù)字形象，第三四為另外兩個(gè)備用虛擬主播。

團(tuán)隊(duì)研究了基于Arkit的52個(gè)面部表情數(shù)據(jù)庫，在實(shí)踐中了解每個(gè)表情參數(shù)幅度對(duì)于面捕結(jié)果的影響，實(shí)現(xiàn)了任意風(fēng)格角色面捕的可能性。

讓虛擬主播“動(dòng)”起來

形象資產(chǎn)有了，如何讓主播動(dòng)起來？團(tuán)隊(duì)針對(duì)不同的應(yīng)用場(chǎng)景確定了兩套制作流程：動(dòng)捕驅(qū)動(dòng)和傳統(tǒng)動(dòng)作庫驅(qū)動(dòng)。

動(dòng)捕方面，運(yùn)用青瞳的光學(xué)動(dòng)捕設(shè)備結(jié)合無遠(yuǎn)弗屆的慣性動(dòng)捕手套，面部表情則采用蘋果端的livelinkface。

結(jié)合新聞播報(bào)本身主播動(dòng)作較少的特性，團(tuán)隊(duì)研發(fā)了動(dòng)作庫制作的流程，前期采集一系列新聞播報(bào)常用的動(dòng)作制作動(dòng)作數(shù)據(jù)庫，后續(xù)只需要把每期播報(bào)的稿子線上發(fā)給主播中之人即可。

通過iPhone二次采集視頻畫面中的表情，從數(shù)據(jù)庫里加上適當(dāng)?shù)膭?dòng)作，同步好配音即完成節(jié)目的產(chǎn)出。利用這套線上制作流程，節(jié)省了協(xié)調(diào)團(tuán)隊(duì)人員和調(diào)試設(shè)備的時(shí)間，更加機(jī)動(dòng)靈活。

在產(chǎn)出了一系列的數(shù)字主播之后，團(tuán)隊(duì)也開始著力打造虛擬偶像，面向短視頻平臺(tái)，定位較主流媒體主播形象更加輕松活潑。

團(tuán)隊(duì)引入了更加高效的臉部修改技術(shù)，利用虛幻引擎變形插件及相關(guān)藍(lán)圖，實(shí)現(xiàn)虛擬角色面部的實(shí)時(shí)調(diào)整，并且結(jié)合中之人面部運(yùn)動(dòng)習(xí)慣時(shí)實(shí)訓(xùn)練調(diào)試虛擬人五官的運(yùn)動(dòng)幅度。

為數(shù)字人選服裝

傳統(tǒng)角色動(dòng)畫的服裝部分大多是三維軟件里做好動(dòng)畫后導(dǎo)出fbx進(jìn)MD，然后進(jìn)行離線模擬，MD輸出abc文件再回套給三維軟件中的角色，制作流程復(fù)雜低效而且布料模擬極易出現(xiàn)問題。

針對(duì)服裝問題，團(tuán)隊(duì)制訂了兩套方案。

一是利用MD制作服裝，直接將服裝綁定到角色。優(yōu)點(diǎn)是不用模擬，產(chǎn)出效率高，不會(huì)出現(xiàn)穿幫等問題，適合直播及對(duì)產(chǎn)出率要求高的欄目；缺點(diǎn)是缺乏布料的物理學(xué)特性，真實(shí)度打了折扣。

二是使用Epic官方推出的udraper插件，用MD制作好的服裝直接在虛幻引擎中用udraper賦予角色，布料可以時(shí)實(shí)模擬運(yùn)動(dòng)。優(yōu)點(diǎn)是布料更加真實(shí)自然；缺點(diǎn)是當(dāng)服裝的層數(shù)多時(shí)容易發(fā)生問題，穿模、飛起等。

因此每個(gè)主播都有兩套服裝，一套綁定版，一套u(yù)draper版，這樣根據(jù)不同需求靈活切換。

數(shù)字人的制作除了以上技術(shù)上的要求之外，對(duì)于設(shè)計(jì)審美的要求同樣較高。

作為主流媒體的數(shù)字主播，僅僅是卡通形象顯然不夠嚴(yán)肅，團(tuán)隊(duì)最終確定做一款寫實(shí)中帶有一些卡通或者可愛氣質(zhì)的形象。通過不斷打磨，團(tuán)隊(duì)在五官比例及位置上做了很多微妙調(diào)整，最終形成了一套角色設(shè)計(jì)理論。

技術(shù)與硬件的發(fā)展使數(shù)字形象制作的效率逐漸提升，數(shù)字形象有很多優(yōu)點(diǎn)，比如三維特效制作空間大、更加智能化、欄目制作產(chǎn)出時(shí)間地點(diǎn)更靈活。同時(shí)，其也存在一些不足，比如中之人不宜隨意更換，服裝替換成本較高，布料毛發(fā)等模擬技術(shù)不成熟等。

結(jié)合目前大火的ChatGpt，團(tuán)隊(duì)正在研發(fā)數(shù)字角色的智能語音對(duì)話。具體流程是采用微軟的文字語音轉(zhuǎn)換技術(shù)，結(jié)合虛幻引擎及ChatGpt，將用戶語音轉(zhuǎn)換為文字輸入ChatGpt，再將ChatGpt返回的結(jié)果給到虛幻引擎，利用虛幻引擎的Metahuman SDK將文字語音轉(zhuǎn)換成角色表情動(dòng)畫，實(shí)現(xiàn)真正的AI人機(jī)對(duì)話。

未來，數(shù)字角色應(yīng)用與價(jià)值絕不止于視頻產(chǎn)品的產(chǎn)出，而是要結(jié)合AR、VR、 物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù)，真正實(shí)現(xiàn) “元宇宙”概念，虛擬形象及虛擬資產(chǎn)會(huì)產(chǎn)生實(shí)際價(jià)值并滲透到社會(huì)的方方面面。

責(zé)任編輯：房家輝

關(guān)鍵詞：