人民網
人民網>>四川頻道

3A游戲、科幻大片、動畫當中虛擬形象越來越“真實”——

動作捕捉:給虛擬形象以“生命”

本報記者 陳靜文
2024年10月18日10:02 | 來源:人民網-《人民日報海外版》
小字號

  在重慶市永川區科技片場一期,工作人員在演示實時光學動作捕捉技術。
  新華社記者 黃 偉攝

  國產3A游戲《黑神話·悟空》中,“天命人”等角色的神態動作是如何刻畫的?電影、動畫和游戲中虛擬人物動作為何越來越逼真、自然?這些角色富有生命力表現的背后,離不開一種名叫“動作捕捉”的技術。

  “動作捕捉”技術應用廣泛,《阿凡達》《蜘蛛俠》《復仇者聯盟》《尋龍訣》《鏢人》等電影、動畫,及《和平精英》《原神》等游戲中均有使用。諸多國內外經典作品都是通過採集演員肢體動作和表情信息,再用算法驅動靜態模型“動”起來,從而讓虛擬角色流暢生動地躍然於屏幕上。

  動捕技術從上世紀70年代開始應用於動畫制作,因工作效率和視覺效果遠超傳統手繪與三維動畫而迅速風靡。近年來,國內相關企業奮起直追,迎頭趕上,用堅實技術推動國產作品質量更上層樓。動作是如何被“捕捉”的?國內企業又是如何追趕的?記者進行了採訪。

 

  動捕精度達亞毫米

  一間約60平方米的房間裡,一台台高清相機錯落有致地架設在立柱與橫杆上,發出藍色的光。場地中央,一位年輕的測試員身著全黑動作捕捉服——黑帽、黑衣、黑鞋及黑手套,這身裝扮上粘貼著50個灰白色小球狀的光學標記點。

  “我們把這些標記點叫作‘北極星’。”電腦前的動作捕捉工程師屈年晨告訴記者,意思是貼上它的人或物體即便做高速運動,公司自研的亞毫米級高精度動捕相機都能敏銳捕捉“北極星”的反光,精確記錄其運動軌跡,由此形成人物表演或物體運動數據。

  “做個T pose!”聽到指令后,測試員雙腿並攏、雙臂側平舉擺出T字姿勢,屈年晨則熟練地操作起鼠標,在一款動捕軟件中檢查人體三維模型重建情況。

  這是元客視界動捕實驗室,裡面正在進行FZMotion光學運動捕捉系統的產品測試。

  當前,業內頭部企業動作捕捉精度普遍達到亞毫米級。今年火爆海內外的游戲《黑神話·悟空》,採用了利亞德·虛擬動點公司提供的OptiTrack光學動作捕捉系統,它能1︰1精准記錄演員神態、身體姿勢及動作細節,精度誤差小於±0.1毫米,旋轉誤差小於±0.1度,延時最低2.8毫秒。

  虛擬動點研發總監崔超告訴記者:“《黑神話·悟空》追求的高精度動作,是指角色表情細膩,跑跳流暢,出招連貫且富有打擊張力。”實際上,這樣的高標准已然達到影視級別,隻不過游戲中的打斗動作是循環式的,蓄力、出招、收手,一組固定動作構成一個攻擊招式,在玩家操控下不斷重復。

  而在真人影視中,武戲常常由多人連續演繹,畫面更為緊張激烈,拍攝現場面臨的挑戰也增多,諾亦騰研發的Perception Neuron系列慣性動作捕捉套裝在這種場景表現出色。慣性動捕作為第二種常用的動捕技術,基於傳感器捕捉數據,隻需演員穿戴輕便的傳感器套件,精度上略遜一籌,但勝在便捷、實惠,對環境要求寬鬆。

  諾亦騰團隊曾在好萊塢以動作捕捉技術協助一部美劇拍攝。諾亦騰聯合創始人兼首席技術官戴若犁回憶,他每次聽到導演喊“321開始”時都很緊張,因為影視特效需要十余種技術緊密配合,一家企業但凡出現一次未及時准備就緒的情況,便可能前功盡棄。為此,諾亦騰在動捕產品和算法上下了很多功夫,確保演員長時間離場后設備仍能即插即用。

  “要感謝這些復雜、高壓情景的洗禮,正是一個個這樣的案例倒逼我們不斷消除技術死角,提升產品質量和穩定性。”戴若犁說。

  在動畫類作品的動捕拍攝現場,復雜情景同樣屢見不鮮。元客視界解決方案總監陳溥記得,2022年拍攝國產動漫《鏢人》期間,先后遇到角色手部與武器穿模,以及多人武戲激烈交互導致光學標記點被頻繁遮擋的問題,這對動捕精確度和算法還原度構成很大挑戰。為實現“定格每一幀動作”的目標,團隊反復計算數據碰撞體系,不斷融合和微調人體與剛體模型,最終解決了難題。

  “要說比較滿意的作品可能是上一部,但真正最好的永遠是下一部!”被問及最得意的虛擬數字作品,陳溥解釋道,隨著技術迭代升級,動作捕捉在精度和美感層面都仍有廣闊提升空間。

  拓展模式,豐富場景

  在影視領域,動作捕捉技術不僅用於正式拍攝,它還改變著電影生產流程——通過“虛擬預演”來讓后期前置,從而提升拍攝效率。

  借助OptiTrack光學動捕系統,2021年上映的懸疑科幻電影《刺殺小說家》率先嘗試了虛擬預演的拍攝模式。深度參與其中的崔超介紹,電影開拍前,公司協助該片導演路陽帶領武術演員團隊,用2個月時間排演並採集了片中全部動態鏡頭,從而能夠盡早預覽特效完成后的影視畫面。

  崔超談到,電影中紅甲武士一躍而起,身后明月高懸的場景,便是虛擬場景調試過程中臨時產生的創意,最終得到導演採納。借助虛擬預演,電影制作團隊得以預覽和敲定表演形式、鏡頭機位及虛擬特效,同時促進導演延伸藝術表達,以便正式演員入場后高效完成拍攝、更好表達情感。

  然而,《刺殺小說家》在虛擬預演時遇到一個有趣挑戰:終極“大Boss”赤發鬼有4條胳膊,比真人多出兩條,動作如何捕捉?崔超回憶,經過討論和嘗試,團隊最終採用技術手段同時捕捉兩位演員的表演,一位負責全身動作,另一位則專門負責展現虛構雙臂的動態,“有點像唱雙簧”。

  超出人體結構進行動作捕捉的情景,還出現在2023年春晚節目《當“神獸”遇見神獸》中,該項目由元客視界提供動作捕捉技術支持。陳溥稱,鳳凰、麒麟等神獸的部分動作,需要演員佩戴內置驅動器的尾巴和翅膀道具,以四肢著地或吊威亞的形式演繹。此外,團隊還為貓、狗、馬等真實動物穿上特制動捕服,為鳥貼上直徑僅幾毫米的光學標記點,通過慣性與光學融合的動作捕捉技術採集動作數據,再進行后期制作。同樣,《黑神話·悟空》中的“虎先鋒”角色動作,也是利用虛擬動點空間計算—光學動捕技術“照貓畫虎”驅動而成。

  事實上,在虛擬數字內容中,異形人物和四足動物,是直立人類與奇幻形象之間的過渡角色。為表達故事想象力、提升視覺沖擊力,四足動物動作捕捉技術已成為企業競相追逐的焦點。據崔超介紹,這項技術的難點在於動物行為無法操控,行動路線難以預測,這就要求動作捕捉系統具備大范圍、高精度捕捉能力和防遮擋算法。“目前,全球能做到四足動捕的企業不超過3家,而虛擬動點已經能達到1/3的‘出片率’,這些有效動物數據隻需要經過少量后期工作就可以使用。”他說。

  隨著AI和元宇宙技術蓬勃發展,中國動捕企業賦能虛擬數字內容制作的腳步加快,攜手數字人與虛擬現實技術,為更多行業注入新活力。

  2022年,元客視界參與打造的AI手語播報數字人系統溫暖上線,先后服務於北京冬(殘)奧會專題報道和世界杯賽事解說,翻譯准確率高達90%。這一創新解決了傳統人工手語翻譯工作量大、與主持人配合難的問題,使我國聽障人士能夠更深入感受國際體育盛會的魅力。

  屈年晨介紹,在3個多月的時間裡,手語數字人學習了近10萬條手語語料,不僅覆蓋《國家通用手語詞典》和數千條賽事相關詞匯手語,還包括了手語傳達信息所必需的口型、表情和肢體動作。

  尋找研發突破口

  如果將動作捕捉技術比作一座山峰,那麼無限風光在險峰。中國動捕技術企業如同一隊既相互競爭又彼此結伴的攀登者,一路跋涉時晴時雨,但總是干勁十足,不斷眺望、征服,尋找技術難點作為下一步研發突破口。

  從業人員表示,當前中國動捕業內面臨的共同難題在於技術還無法同時捕捉面部表情和身體動作,這是因神態變化十分細微,需要演員面部貼點並頭戴相機單獨錄制,而這限制了演員的身體表演。目前採用的“身體和表情分開錄制,后期對齊精修”方法,不僅給表演帶來挑戰,也延長了制作周期。對此,陳溥希望早日實現動捕相機的多模態採集功能,既能用紅外捕捉面部光學標記點,又能對表情視頻進行視覺分析和信息提取,實現一次表演,多層捕捉。

  另一個公認難點是手指捕捉。針對手部動作靈巧復雜的特點,諾亦騰推出了全球第一套消費級別的動作捕捉手套,目前還在持續提升其捕捉精度與抗干擾性。用戴若犁的話說:“不在手指上留技術死角。”

  此外,虛擬動點也在精度提升上孜孜不倦,計劃繼續提高攝像機精細度與算法補償能力,減少微抖動造成的誤差和人工后期修幀工作量。

  然而,“精”益求“精”並不能解決一切問題。研發人員意識到,不同領域對動捕的需求兼具共性和差異、合力與張力。運動科學、生物醫療、虛擬仿真、具身智能等追求測量精度和高保真度,而影視動畫觀眾和游戲玩家需要的,則是虛擬角色的動作合理、舒適美觀——這就需要在保証還原演員表演精度的同時提升美感,讓科技貼近藝術。

  陳溥坦言:“角色舞蹈動作真不真、美不美,是否曲線柔和行雲流水,隻能由人眼判斷。”戴若犁也舉例稱:“我們允許虛擬角色翻的跟頭和演員不一樣、比真人更夸張,但必須在視覺上是合理的。”

  崔超引用法國作家福樓拜的話描繪心中理想的動捕行業圖景:“藝術越來越科技化,科技越來越藝術化,兩者在山麓分手,有朝一日,將於山頂重逢。”他期待未來與更多影視制作者加強合作,各方人員通力配合,“共同創作更偉大的作品”。

  動捕技術的深化應用顯示出這樣一種規律:從精准到自然,從合理到美感,從客觀到主觀……這是不是科技發展的必然趨勢?該如何理解動捕技術與人類生活的關系?

  對此,戴若犁表示,在人類數字化進程當中,動作捕捉應被視為人機交互的界面、現實世界和數字世界之間的橋梁。

  “隻有讓科技產物更貼近人類,才能延續現有的人本設計成果,強化以人為本的理念。”陳溥指出,“要讓科技更好地服務和參與整個人類生活,這是我們的終極目標。”

(責編:章華維、高紅霞)

分享讓更多人看到

返回頂部