近日,總部位于韓國首爾的人工智能研究院Hyperconnect,發布了一款基于機器學習的AI工具MarioNETte。該工具可以將普通人的面部映射到任何目標上(包括現代或歷史人物)并進行動作的操控。研究人員表示,即使在要操縱的臉部和進行操縱的人之間存在明顯的不匹配情況,MarioNETte依然可以進行優化讓兩者看起來更接近。
從技術上來看,MarioNETte是一款面部“重塑”工具,其原理是在保留面部(目標)外觀的同時,通過與源數據進行動態合成以實現面部重塑這一過程。這不是一個新奇的技術,但是以前的技術有很大的不便:(1)需要幾分鐘的數據訓練,并且只能重新制定預設的目標無法隨意映射;(2)在處理較大面部動作時,會出現目標扭曲的特征。
MarioNETte通過合并三個新穎的組件來提高面部重塑技術水平:圖像關注塊、目標特征對齊和界標轉換器。圖像關注塊,允許模型自動關注已映射物理特征的相關位置;而目標特征對齊,可減輕偽影、翹曲和變形;至于界標轉換器,與人工標注示例的方法相比,它無需標記數據即可使待合成的臉部姿勢幾何形狀,自動適配目標的幾何形狀。
Hyperconnect的研究人員通過使用VoxCeleb1和CelebV(兩種名人照片和視頻的開源資料庫)對MarioNETte進行了培訓和測試。使用來自VoxCeleb1的1,251個不同名人對模型和基線進行了訓練,并通過從隨機選擇的100個VoxCeleb1視頻中抽取2,083個圖像集(加上CelebV中每個名人的2,000個圖像集)采樣,對一組模型進行了測試。
測試結果顯示,在多達八張圖像上,MarioNETte超越了所有其他工具。在另一項用戶研究中, 100名志愿者根據質量和真實性從不同模型生成的兩幅圖像中選擇一張,MarioNETte的輸出排名高于所有基準。
Hyperconnect表示,未來該工具將幫助攝影師無需運動跟蹤設備即可快速地為人物制作逼真動畫。但是它也可能被用來創建高度逼真的人臉偽造,可以在靜態圖片或動態視頻中逼真的模仿他人。
不過目前Google和Facebook等科技巨頭已認識到人臉映射潛在的威脅,已經發布了檢測深層次造假的數據集和AI模型。
未經允許不得轉載:RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 人工智能研究院Hyperconnect發布AI工具,可將面部動作映射到任何目標上
熱門信息
閱讀 (14728)
1 2023第三屆中國RPA+AI開發者大賽圓滿收官&獲獎名單公示閱讀 (13753)
2 《Market Insight:中國RPA市場發展洞察(2022)》報告正式發布 | RPA中國閱讀 (13055)
3 「RPA中國杯 · 第五屆RPA極客挑戰賽」成功舉辦及獲獎名單公示閱讀 (12964)
4 與科技共贏,與產業共進,第四屆ISIG中國產業智能大會成功召開閱讀 (11567)
5 《2022年中國流程挖掘行業研究報告》正式發布 | RPA中國