數(shù)字人訓(xùn)練模型：開發(fā)、公司與費(fèi)用明細(xì)

數(shù)字人如今在各個(gè)領(lǐng)域都備受關(guān)注，其中數(shù)字人訓(xùn)練模型是關(guān)鍵所在。

先說說數(shù)字人訓(xùn)練模型開發(fā)。以MimicTalk算法為例，它連接了個(gè)性化數(shù)字人小模型和單圖驅(qū)動(dòng)通用數(shù)字人大模型之間的空白。傳統(tǒng)的個(gè)性化精品數(shù)字人小模型存在低訓(xùn)練效率、低樣本效率、低魯棒性的問題，而單圖驅(qū)動(dòng)的通用數(shù)字人大模型又存在外表相似度較低、無法模仿目標(biāo)人說話風(fēng)格等問題。MimicTalk通過特定的策略，如將單圖驅(qū)動(dòng)的通用3D數(shù)字人大模型Real3D-Portrait適應(yīng)到目標(biāo)數(shù)字人的高效微調(diào)策略和具有上下文學(xué)習(xí)能力的人臉動(dòng)作生成模型，能在15分鐘以內(nèi)訓(xùn)練出單個(gè)數(shù)字人模型，比現(xiàn)有Zui高效的同類方法快47倍。其內(nèi)在原理圍繞著讓數(shù)字人在外表和說話風(fēng)格上與真人相似，采用基于通用3D數(shù)字人大模型微調(diào)的高質(zhì)量人臉渲染器和一個(gè)具有上下文學(xué)習(xí)能力的人臉動(dòng)作生成器來達(dá)成目標(biāo)。

再看訓(xùn)練模型公司方面。像阿里巴巴達(dá)摩院與天貓精靈聯(lián)合研發(fā)數(shù)字人，集合了達(dá)摩院NLP、語音、視覺、3D構(gòu)建驅(qū)動(dòng)及大模型領(lǐng)域團(tuán)隊(duì)，和天貓精靈AliGenie交互系統(tǒng)專家。還有字節(jié)跳動(dòng)與上海科技大學(xué)合作推出HeadGAP研究，能通過三張照片快速生成3D虛擬人頭部形象。不同的公司或團(tuán)隊(duì)在數(shù)字人訓(xùn)練模型開發(fā)上各有特色和優(yōu)勢。

然而，關(guān)于數(shù)字人訓(xùn)練模型的費(fèi)用明細(xì)卻是比較復(fù)雜的事情。開發(fā)一個(gè)數(shù)字人訓(xùn)練模型涉及到多個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)都可能產(chǎn)生成本。首先是數(shù)據(jù)收集，要收集大量有關(guān)數(shù)字人物的數(shù)據(jù)，這些數(shù)據(jù)類型多樣，來源廣泛，這就可能涉及到數(shù)據(jù)采集的成本。數(shù)據(jù)清理和整理環(huán)節(jié)，需要保證數(shù)據(jù)質(zhì)量和一致性，消除噪音、標(biāo)注數(shù)據(jù)等工作也需要人力和技術(shù)成本投入。特征提取環(huán)節(jié)運(yùn)用自然語言處理技術(shù)、計(jì)算機(jī)視覺技術(shù)和音頻處理技術(shù)等，這些技術(shù)的使用可能需要相關(guān)的軟件和設(shè)備支持，也是成本的一部分。建立模型時(shí)使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法，無論是自己研發(fā)算法還是使用已有的開源算法，都可能涉及到研發(fā)成本或者授權(quán)費(fèi)用。訓(xùn)練模型過程可能需要大量的計(jì)算資源和時(shí)間，計(jì)算資源的使用是一筆不小的開支，特別是如果使用云計(jì)算等服務(wù)。而且如果在模型開發(fā)過程中需要人工干預(yù)，人工成本也得計(jì)算在內(nèi)。Zui后，將數(shù)字人部署到特定平臺(tái)或應(yīng)用程序中，還需要考慮平臺(tái)的使用費(fèi)用等。

從目前的發(fā)展來看，雖然有像Meta通過幾張照片就能生成超寫實(shí)數(shù)字人的技術(shù)，或者蘋果聯(lián)合德國馬普所推出的半小時(shí)就能完成訓(xùn)練的3D數(shù)字人合成工具HUGS等高效成果，但數(shù)字人訓(xùn)練模型的開發(fā)成本和費(fèi)用明細(xì)仍然是需要深入探討和明確的重要部分，這關(guān)系到數(shù)字人技術(shù)在各個(gè)行業(yè)的廣泛應(yīng)用和發(fā)展前景。