中外團隊研發深度學習方法，單張照片即可自動生成定製化遊戲角色

近年來，影片遊戲開發者和計算機科學家一直在嘗試開發一些全新的技術，讓玩家能夠擁有更加逼真、引人入勝的沉浸式遊戲體驗，這些方法中就包括自動建立以真人為原型的電子遊戲角色。

而現有的建立和定製電子遊戲角色的方法，大都需要手動調整角色的面部特徵，以便重新建立自己或其他人的臉。除此之外，一些開發者還試圖開發一種方法，透過分析真人的面部影象，來自動生成定製化的遊戲角色。然而，這些方法幾乎都尚不完善，不但效果難以得到保證，而且很難做到以現實的方式重現其分析的面孔。

圖 | 輸入肖像與生成的遊戲角色（來源：arXiv。org）

網易伏羲人工智慧實驗室和密歇根大學的研究人員最近開發出一種深度學習技術 MeInGame，可以透過分析單個人臉照片自動生成遊戲角色的面孔，做到與真實的人臉非常接近。

該研究成果於今年 2 月在預印本平臺 arXiv。org 發表，標題為《MeInGame：用一張肖像建立遊戲角色》（MeInGame：Create a Game Character Face from a Single Portrait）。

開展這項研究的科研人員表示，“我們提出的這種自動的角色人臉建立方法，可以預測出單個人像的面部形狀和紋理，並可以整合到大多數現有的 3D 遊戲中。”

據悉，此前的一些自動角色定製系統主要是基於 3D 變形臉模型（3DMMs）計算技術來生成作品。雖然其中不乏有一些方法可以比較精確地複製人臉特徵，但這些方法表示幾何屬性和空間關係（即拓撲）的方式通常與大多數 3D 電子遊戲中使用的網格存在差異。

圖 | 不同方法生成影象的對比圖，最後一列為基於 3DMM 方法的結果（來源：arXiv。org）

一般而言，只有經過大型影象資料集以及紋理資料的訓練，3DMMs 才能做到再現人臉的紋理，而編譯這些資料集則需要耗費大量的時間。而且，這些資料集並不能把自然場景下收集的真實影象全部涵蓋進去，這樣一來，可能會使其訓練的模型在呈現新資料時，無法擁有持續良好的表現。

為了克服這一難題，該研究團隊選擇直接在自然場景下的影象資料集上，對他們的技術進行技術。

此外，他們還創新性地提出了 3 大技術方法：低成本的人臉紋理獲取方法，將三維網格的形狀轉換為遊戲形狀的傳遞演算法以及一種新的訓練三維遊戲人臉重建網路的管道。

“給定一張待輸入的人臉照片，我們首先根據 3D 變形人臉模型（3DMM）和卷積神經網路（CNNs）重建一張 3D 人臉，然後將 3D 人臉的形狀轉移到模板網格中。該網路以人臉照片和去包裹的粗 UV 紋理圖作為輸入值，然後預測出光照係數和細化紋理圖。” 研究人員解釋道。

經過系列實驗的評估，並將其開發的深度學習技術生成的遊戲角色與其他現有的方法生成的角色面孔進行對比，發現他們研發的方法表現優異，能夠生成與輸入影象非常相似的角色面孔。

在這篇論文中，研究人員指出，他們所提出的方法不僅可以生成與輸入畫像相似且生動的遊戲角色，而且還可以消除光線變化、陰影和遮擋對影象產生的影響，忠實地還原人像個性化的細節，如膚色、妝容和皺紋等。

“實驗表明，我們的方法優於現有遊戲中使用的最先進的方法。” 研究人員表示。

目前，MeInGame 模型的程式碼和用於訓練它的資料集已經發布在網上，全世界的遊戲開發者都可以透過 github。com 訪問該模型。